随着对数据价值的不断挖掘,以及全球各地区政府的政策支持,大数据市场呈现出一片欣欣向荣的发展态势。IDC在其几个月前发布的报告中曾预测,2019年全球大数据与商业分析解决方案市场的整体收益将达到1896.6亿美元,相对2018年同比增长了12.1%。IDC还预测,在2019年~2023年,全球大数据市场将实现13.1%的复合年均增长率,且总收益预计将于2023年达到3126.7亿美元。
大数据产业蓬勃发展,相关技术产品水平也不断提升,越来越多的企业开始投资大数据平台,通过对海量数据的采集、处理与分析,从数据中获取更有价值的信息,实现市场洞察、应用创新。
12月10日,中国信通院发布了《大数据白皮书(2019)》,聚焦一年多来大数据各领域的发展,探讨了大数据技术、产业、应用、安全及数据资产管理的进展和趋势。白皮书的最后,围绕技术、应用、治理三个方面展望了大数据行业的未来发展:
技术方面,我们仍然处在“数据大爆发”的初期,随着5G、工业互联网的深入发展,将带来更大的“数据洪流”,这就为大数据的存储、分析、管理带来更大的挑战,牵引大数据技术再上新的台阶。硬件与软件的融合、数据与智能的融合将带动大数据技术向异构多模、超大容量、超低时延等方向拓展。
应用方面,大数据行业应用正在从消费端向生产端延伸,从感知型应用向预测型、决策型应用发展。当前,互联网行业已经全面进入“DT时代”。未来几年,随着各地政务大数据平台和大型企业数据中台的建成,将促进政务、民生与实体经济领域的大数据应用再上新的台阶。
治理方面,随着国家数据安全法律制度的不断完善,各行业的数据治理也将深入推进。数据的采集、使用、共享等环节的乱象得到遏制,数据的安全管理成为各行各业自觉遵守的底线,数据流通与应用的合规性将大幅提升,健康、可持续的大数据发展环境逐步形成。
由此可见,大数据行业将持续稳步、快速发展,在行业应用方面也将不断深入,在更多场景中发挥数据的巨大价值。在2018年即将结束之际,IT168再次启动“技术卓越奖”评选,由行业CIO/CTO大咖、技术专家及IT媒体三方联合评选,评判标准代表了用户和媒体声音。经过多方评审,评选出了3款极具优势的大数据平台产品与解决方案,下面一一为大家详细介绍。
技术卓越奖:数梦工场DTSphere Bridge
一句话点评:数梦工场DTSphere Bridge数据集成平台是新型互联网架构中数据中台的重要组成部分,更是数据集成共享不可或缺的环节,能够一站式解决数据集成过程中的一系列难题,广受好评,堪称神器!
技术卓越奖:数梦工场DTSphere Bridge
产品介绍:DTSphere Bridge数据集成平台是数梦工场自主研发的、拥有完全自主知识产权的一款基于分布式架构的ETL数据集成产品。ETL是指:从不同结构的数据源中抽取数据(Extract),并对数据进行复杂的加工处理(Transform),最后将数据加载到各种存储结构中(Load)。DTSphere Bridge数据集成平台简单易用,可通过Web页面进行数据ETL任务的开发、调度、监控,并具有极好的扩展性和可靠性。数据集成平台适配各类数据源,提供无侵入式的增量获取功能,具有高速的数据集成能力。DTSphere Bridge包括数据源管理、转换管理、作业管理、运维监控、日志管理、用户管理和租户管理等功能模块。
获奖理由:通过DTSphere Bridge数据集成平台,用户可以通过简单易用的Web界面,以拖拽点击的方式进行任务配置和监控管理界面操作,非常灵活地进行数据的截取、转换等操作,任务作业可以根据需要进行自动的周期性调度。轻松实现诸如数据同步、数据汇聚整合、数据分发和数据清洗等应用场景。
最佳创新产品奖:数见科技DataPipeline
一句话点评:DataPipeline平台支持多种部署模式,而且简单易用,强大的平台能力可帮助企业大数据系统降本提效,创新的批流一体数据读写模式更是让人眼前一亮,带来了非常显著的优势!
最佳创新产品奖:数见科技DataPipeline
产品介绍:DataPipeline 是一款批流一体数据融合平台,无需任何代码,通过可视化图形配置界面只需 5 分钟即可自服务部署一条实时数据管道,并提供丰富的管理功能:数据的批流一体处理、API 数据接入、数据质量管控、数据任务流管理,可视化运维管理、错误队列管理、用户管理、元数据管理等,帮助客户实现高效地连接复杂的异构数据源和目的地,大数据量高并发数据同步,可视化实时监测保障数据质量等价值,为客户灵活的数据消费需求提供强有力的技术驱动。
获奖理由:在实时性上,相较于传统数据集成的批模式,DataPipeline模式最核心的区别是将批量变为实时;在解决多源异构问题上,可以支持市场主流关系型数据库和非关系型数据库。同时还可以快速实现云上数据平台的数据打通、支持各种大数据平台、文件系统同步;在易用性上,打破了以往看不见摸不着的传统印象,采用可视化的数据融合管理界面。即便是无专业大数据技术背景的数据从业人员,也可在短时间内自主配置一条数据管道;在稳定性上,继承了开源的所有优势,产品灵活、自主可控、可扩展,同时侧重于丰富用户所需的管理功能:数据管理,监控,运维,稳定性,容错性,以及故障排查的能力。
创新解决方案奖:人大金仓Kingbase FlySync
一句话点评:Kingbase FlySync能够在异构数据平台间实现实时、增量数据同步,可帮助用户解决大数据应用愈发多样化所带来的多源异构数据治理挑战。
创新解决方案奖:人大金仓Kingbase FlySync
产品介绍:Kingbase FlySync是北京人大金仓信息技术股份有限公司推出的在异构数据平台间实现实时、增量数据同步的产品,主要面向异地容灾、数据集中共享与分发、数据分析平台建设、云迁移等场景。采用了物理日志解析技术,帮助用户实现不同数据平台的数据间实时移动流转,保证此过程中数据不丢失,状态可监控,数据量可统计,同步数据可比对。
其主要能力有:1.支持异构数据源和目的,如Oracle、SQL Server、MySQL、人大金仓数据库等;2.支持丰富的数据类型及相关操作;3.对生产系统低干扰;4.历史数据和增量数据同步一站式完成;5.高速实时同步;6.支持多种同步拓扑结构;7.支持断点续传、自动重启重连;8.支持同步数据的一致性比对。
获奖理由:数据孤岛问题是企业大数据应用面临的一个重要挑战,Kingbase FlySync具备高效连接各类异构数据源,实现大数据增量数据的实时同步能力,可帮助用户打破数据孤岛,轻松共享和分发数据,利用整合的数据进行深入分析,获取更多数据洞察。同时还可以保证此过程中数据不丢失,实现同步状态的实时监控和数据统计。
结束语
在新的时代下,既有新的机遇又有新的挑战。大数据行业蓬勃发展,市场上涌现出了丰富多样的产品与解决方案,以帮助更多组织顺利解决大数据创新过程中遇到的各种新型挑战。如此繁荣的产业生态,实在令人欣喜。