目前的市场动态不允许放缓。数字中断者利用了人工智能、无服务器数据平台和无缝分析方面的创新,这些创新完全颠覆了传统业务模式。Covid-19 大流行带来的当前市场挑战只会加剧对快速、灵活服务的需求。为了保持竞争力和相关性,当今的企业必须快速部署新的数据技术以及传统基础架构,以推动市场驱动的创新,如个性化产品/服务、实时警报和预测性维护。
然而,随着企业努力实施最新的数据技术(从流处理到分析和数据湖),许多人发现,他们的数据体系结构正陷入大量数据,而其传统程序无法有效地管理或正确利用这些数据。
您的组织可以进行五个基础转变,以便快速部署新功能并简化现有的体系结构方法。其中一些转变可以在保持核心技术堆栈完好无损的同时实现,而其他转变则需要仔细重新构建现有基础架构。
1. 转向基于云的平台
云是推动完全不同的数据架构方法最具破坏性的力量。它为公司提供了一种快速扩展工具和功能以获得竞争优势的方法。云是一个伟大的水平,因为它允许各种规模的组织大规模地源、部署和运行数据基础架构平台和应用程序。
关键技术:
无服务器数据平台 –这些平台允许组织构建和操作以数据为中心的应用程序,具有无限的可扩展性,并通过消除现场配置和管理工作负载的麻烦来减少开销。这些技术易于访问,这意味着解决方案可以在几分钟内部署,而不是数周,并且总体操作开销可以降低。
集装箱化数据解决方案 – Kubernetes使公司能够分离并自动部署其他数据存储系统和计算能力。这有助于确保具有更复杂的设置的平台仍然可以根据需要扩展以满足需求。
2. 从批处理到实时处理
实时数据流功能为当今一些最前沿的业务应用提供了动力。来自工厂车间传感器的数据可帮助制造商预测维护问题;保险公司可以根据来自智能设备的实时行为数据对费率进行个性化计算,客户可以精确跟踪从餐厅到家门口的食品递送情况。由于云,数据价格和计算能力降低,使实时数据消息传递和流式处理的成本大幅下降,使各种规模的组织都能够使用这项技术这通常存储在一个数据湖中,该湖保留所有细粒度细节,以便进行深入分析和预测。
关键技术:
消息传递平台 –现代消息传递平台提供可扩展且容错的发布/订阅服务,可以处理和存储数百万条消息。这允许实时支持并绕过现有的基于批处理的解决方案,从而比传统消息传递队列降低成本,占用空间更小。
流式分析解决方案– 这些系统允许实时直接分析消息,并将历史数据与当前消息进行对比,以建立趋势并生成预测和建议。
3. 从 COTS(商用下架)升级到定制解决方案
当它们达到一定规模时,组织可能会发现自己碰到了 COTS(商用现成)解决方案的边界。为了解决这个问题,许多人正在转向自定义、高度模块化的数据体系结构,这些架构利用一流且通常是开源的组件,这些组件可以根据需要进行升级,而不会损害体系结构的其他方面。
关键技术:
基于 API 的接口 —当在数据管道中实现时,这些接口会保护不同的独立团队免受与它们无关的层的复杂性,从而加快上市时间并降低人为错误的可能性。它们还允许随着需求的变化而更轻松地更换部件。
分析工作台 –这些服务支持模块化组件(如数据库和服务)之间的端到端通信
4. 分离数据访问
API 可以帮助您分离数据访问,并确保对查看和修改数据的直接访问受到限制且安全。这样可以更快地访问常见数据集,并允许在团队之间重用数据,从而实现无缝协作并提高效率。
关键技术:
API 网关 –这允许您创建和发布以数据为中心的 API,使您能够控制访问、实施使用策略和衡量性能。
数据缓冲区 –许多组织发现有必要有一个数据平台来缓冲核心系统外部的事务。这可能是每个团队的预期工作负载存在的数据湖、仓库或其他数据存储体系结构。
5. 转向基于域的数据体系结构
许多组织不是将所有企业数据放在一个位置,而是过渡到基于域的体系结构,这些体系结构将数据集的所有权转移到使用它们的团队(即营销、销售等)这允许每个业务域以用户更易消耗的方式组织其数据
关键技术:
数据基础架构即平台 – 这些服务为存储和管理提供了通用工具和功能,使数据生产者能够快速实现其数据需求,而无需构建自己的平台。
数据编目工具 –这些工具允许搜索和探索数据,而无需完全访问。数据目录通常还提供元数据定义和简化的界面,可从任意位置访问数据资产。
如何实现您的现代数据架构
数据和技术领导者需要能够快速评估和部署新技术,以便跟上现代数据创新的步伐。有一些实践有助于培养数据前瞻性组织,并让您为跟上最新技术和最佳实践做好准备:
- 记住失败是一个学习的机会。愿意尝试不同的组件和概念,以快速识别哪些有效,更重要的是,哪些绝对不起作用。”测试和学习”的敏捷实践将帮助您的组织开发一个最低可行的产品,可以进行测试,以确定实施前的价值。
- 投资数据Ops。DataOps 是增强的数据 DevOps,它将有助于加快新组件的设计、开发和部署,以便团队能够根据需要快速实施更改和更新解决方案。
- 创建数据阳性区域性。教员工如何使用数据服务来增强他们的努力,使他们的工作更轻松。确保您的数据策略与更大的业务目标紧密致致,以保持 C-suite 的支持。
随着数据、分析和 AI 越来越融入大多数企业日常运营,很明显,创建和培育以数据为中心的企业需要完全不同的数据体系结构。接近现代数据架构的领导者将确保他们的组织在当今不断变化的市场中保持敏捷、弹性和竞争力。