数据是国家基础性战略资源,是21世纪的“钻石矿”与“新石油”,是几乎所有企业的必争之地,大数据的发展使越来越多的企业看到数据的价值。
然而中国企业数据底子薄弱,基础软件发展落后,需要更多的企业和人才去建设,星环科技是众多投身其中的公司之一,从最初的Hadoop到自主研发,六载路不寻常。如今在Hadoop的头部玩家遇到瓶颈被外界唱衰之际,其研发总监刘汪根直言“Hadoop的瓶颈不能代表整个大数据产业。”
从Hadoop到自主创新
2013年国内大数据元年,不少大数据创业公司开始入局。星环科技也在同年起航,其研发团队是国内Hadoop早期布道者,2011年在中国率先推出Hadoop发行版。随着Hadoop三驾马车Cloudera、Hortonworks 和 MapR的发展,Hadoop几乎成为大数据的代名词。
大数据时代涌现了众多创业公司,有的定位在偏底层,有的定位在上层应用。星环科技创始人&CEO孙元浩早年间参加DTCC接受采访时说过“我们定位是大数据平台,是做基础软件的。为什么要做基础软件?因为我们看到一个明显的技术演进趋势,从单机计算,多核计算到分布式计算,这个趋势是技术的潮流,是一次至下而上的架构革命,这种机会可能10年或者20年才能碰到一次,而这一领域正是我们擅长的,所以我们准备投入到这个领域。”
不过Hadoop等开源组件在性能和稳定性方面先天不足,产品化较弱,一开始星环科技推出了基于Hadoop和Spark的分布式内存分析引擎和实时在线大规模计算分析平台TranswarpDataHub(TDH)。对开源组件进行优化和升级,以满足国内中大型企业的需求。
随着不断实践,开源技术的一些局限性渐渐显露。星环科技一边在Hadoop层继续保持与社区同步,一边对核心数据库产品进行重构。对于技术型公司而言,如何应对日新月异的技术变革也是不小的挑战。当容器技术、微服务、AI等新技术如潮水般涌来,星环科技都踩对了节拍。比如,期间拥抱Kubernetes和Docker发力容器,2017年把公司内部人工智能的相关业务剥离出来变成了独立产品,2018年推出了新一代智能大数据云平台Transwarp Data Cloud ( TDC )。
经过多年自主研发,星环科技建立了多个产品系列:基于容器的智能大数据云平台Transwarp Data Cloud ( TDC )、一站式大数据平台Transwarp Data Hub ( TDH )、智子人工智能平台Transwarp Sophon和超融合大数据一体机TxData Appliance、数据库等,并拥有多项专利技术。目前为止,星环科技在依托自主研发的多项技术下已在金融、交通、能源、等多个行业应用。
六年的时间,星环科技从最初的10人到现在的600多人,收获了客户和资本的认可,并赢得巨头的青睐,2017年获得腾讯领投的C轮融资,今年2月获得数亿元D1轮融资,成立至今累计获得6轮融资。
而当星环科技在业内一路狂奔期间,市场对大数据市场出现了唱衰之声。
Hadoop的瓶颈不代表大数据产业
技术的发展似乎总会经历一个唱衰期,当年风头无俩的Hadoop三驾马车都遇到了瓶颈,Cloudera与Hortonworks在2018年合并,近一年的市值也是跌跌不休,而MapR也爆出因经营问题今年7月将裁员的困境,很多诸如“Hadoop已死”、“大数据骗局”的声音在市场出现。
“Hadoop的瓶颈不能代表整个大数据产业。”在日前星环科技百城巡展首站北京站上,星环科技研发总监刘汪根对笔者表示,他认为Hadoop三驾马车的瓶颈更多是其商业模式的问题,开源技术的产品化不足,三家公司过度依赖技术服务支持拖累了发展,并不是Hadoop技术的问题,实际上Hadoop核心组件基本成为大数据技术的标配。
根据赛迪顾问研究,中国大数据产业2018年整体规模达到4384.5亿元,预计到2021年将达到8070.6亿元。
而早期大数据的代表“Hadoop”跌落神坛,更多新的大数据技术和企业不断涌现发展。根据Gartner技术成熟度曲线,这是一个新技术的必经之路,理性看待才是长久发展之道。
有创业者认为国内大数据底子的建设是一个长期过程,可能需要30年。具体的时间见仁见智,但是对于“长期”应该没有什么异议,罗马非一天建成,不能一蹴而就。
尤其是星环科技所服务的中大型企业,有IT积淀也意味着有历史的包袱。天翼云市场部总经理杨居正曾经指出大企业有自己的IT能力,有自己的管理流程和部门的一些相应的考虑和想法,执行力包括上云的能力很强,但是有可能需要掉头,需要一个调整的过程。
另一方面大数据的“退烧”与AI的发展也有一定关系,企业与社会在向着智能时代演进,智能化是一个系统的工程,数据化是其中一个重要的环节,单点的技术突破很难再支撑起对未来的美好想象。
AI、大数据、云计算三者融合越来越深,而技术已经渗透到业务的各个环节,企业的数字化转型进入了新的阶段,深藏着新的机遇与挑战。
走在大数据3.0时代
星环科技认为现在已经到了大数据3.0时代,主要体现在构建数据交换与共享体系、融合大数据与AI能力、提供数据资产与服务层、支持多租户能力,以云化模式为主。
在星环科技TDH、Transwarp Sophon、TDC三个主要产品系列中,TDH是其发家产品,去年5月,TDH通过了全球最知名的数据管理系统评测基准标准化组织TPC-DS测试,而TDC是面向未来基于容器的综合性大数据云平台,星环科技称之为数据云,其理念是以数据为核心,应用为数据服务。
如前文所述中大型企业数字化转型需要一个过程,TDH、Transwarp Sophon、TDC三个产品系列可以满足企业不同阶段的需求。刘汪根介绍企业使用TDH、Transwarp Sophon在业务系统产生了价值,会需要建立一个统一的大数据平台,将更多的业务打通,这是TDC最大的价值体现。
在技术上有自主可控能力的星环科技更加懂得扬长避短,加大了产品化能力。基于容器的TDC平台被寄予厚望,现在进入了云原生时代,容器成为应用的主要载体,需要更敏捷的开发响应快速变化的前端业务。根据IDC FutureScapes预测“到2023年,传统用用程序现代化进程的加速和全新的开放将促使30%的生产应用为原生应用-利用微服务、容器和动态编排。”
不过很多时候变革也在技术之外,“现在是由新业务需求驱动IT变革,团队开发思维、管理思维也要转变,甚至有的时候涉及到组织架构。”刘汪根认为。而在大数据3.0时代也需要多方协作,星环科技建立了星环大学、星瀚大数据联合实验室推进产学研用深度融合,未来也将帮助更多头部客户打造行业云和解决方案。
“我们做的是底层核心技术的开发工作,在常人看来是比较枯燥乏味的,但是我们并不觉得。当我们开发的工具被别人用了,创造出价值的时候,我们真的非常开心。”在日前央视播出的纪录片《大数据时代》中孙元浩如是说。
显然星环科技已经为大数据3.0时代做好了准备,但是在客户至上的时代,数字化变革太快,任何一种技术都不可能青春太久。技术之外公司的融资节奏、组织架构和企业文化也很重要。在这个充满机遇的时代,我们期待处在快速发展期的星环科技带来更多的惊喜。