这篇博文探讨了 2023 年出生在云中的数字原生代的数据流状态。数字服务和新业务模式的发展需要 实时的端到端可见性、花哨的移动应用程序以及与开创性技术的集成， 例如用于快速上市的完全托管云服务、用于低延迟的 5G 或用于创新的增强现实。数据流允许实时集成和关联任何规模的数据，以利用 Apache Kafka 改进最具创新性的应用程序。
我研究了 数字原生代的趋势，以探索数据流如何作为业务推动者提供帮助，包括来自New Relic，Wix，Expedia，Apna，Grab等的客户故事。包括完整的幻灯片和点播视频录制。
数字原生代的一般趋势
数字原生代是诞生于云中的数据 驱动 型科技公司。SaaS 解决方案基于 云原生基础架构 构建，可提供弹性、灵活的运营和规模。 I和机器学习 改进了业务流程，同时数据流经后端系统。
2023 年的数据驱动型企业
麦肯锡公司发表了一篇关于 定义 数据驱动型企业的七个特征的优秀文章：
- 嵌入在决策、交互和流程中的数据
- 实时处理和交付数据
- 灵活的 数据存储可实现 集成的即用型数据
- 数据运营模式将数据视为产品
- 首席数据官的角色被扩大以创造 价值
- 数据生态系统 成员资格是常态
- 数据管理 优先化并实现自动化，以实现隐私、安全性和弹性
麦肯锡公司的这句话准确地映射到数据流的价值，即在正确的时间在正确的环境中使用数据。以下成功案例都是数据驱动的，利用了这些特征 IDC 有一个很好的定义：
“IDC 将数字原生业务 （DNB） 定义为基于现代云原生技术构建的公司，在其运营的各个方面（从物流到商业模式再到客户参与）利用数据和人工智能。所有核心价值或创收过程都依赖于数字技术。
公司诞生于云中，利用完全托管的服务，因此具有 快速上市时间的创新。
人工智能和机器学习（超越嗡嗡声）
“ChatGPT 虽然很酷，但只是一个开始;企业对生成式AI的使用要复杂得多，“ Gartner说。我完全同意。但更有趣的是，机器学习（人工智能中企业就绪的部分）已经在许多公司中使用。
虽然现在每个人都在谈论生成AI（GenAI），但我更喜欢谈论 现实世界的成功案例，这些故事多年来已经利用分析模型来检测欺诈，向客户追加销售或预测机器故障。GenAI“只是”另一种更高级的模型，您可以以相同的方式将其嵌入到IT基础架构和业务流程中。
数字原生科技公司的数据流
只有当企业能够在 适当的环境中正确提供和关联信息时，才能跨行业采用趋势。实时，这意味着以毫秒、秒或分钟为单位使用信息，几乎总是比以后处理数据（无论以后意味着什么）更好：
数字原生代结合了数据流的所有功能：任何规模的实时消息传递与存储，可实现真正的解耦、数据集成和数据关联功能。
Apache Kafka 生态系统和云服务的数据流用于任何行业的整个供应链。这里只是几个例子：
无需将架构从概念验证更改为极端规模。Confluent的Apache Kafka完全托管的SaaS就是一个很好的例子。了解如何在 Confluent Cloud 中将 Apache Kafka 扩展到每秒 10+ GB，而无需重新构建应用程序。
数据流 + AI/机器学习 = 实时智能
将数据流与 Kafka相结合，将机器学习与 TensorFlow或其他ML框架相结合并不是什么新鲜事。我在 2017 年（即六年前）探索了如何“使用 Apache Kafka 在生产中构建和部署可扩展的机器学习”。
从那以后，我写了很多文章，并支持各种企业部署数据流和机器学习。下面是此类体系结构的示例：
数字原生代使用的数据流的架构趋势
数字原生代利用企业架构的趋势来降低成本、灵活性、安全性和延迟。这些天我在科技公司看到的四个基本主题是：
- 使用数据网格进行去中心化
- Kappa 架构 取代 Lambda
- 全球 数据流
- 具有数据流的 AI/机器学习
让我们更深入地了解一些利用数据流的企业架构。
使用数据网格进行去中心化
数据网格没有单一的技术或产品！但是，分散式数据网格基础架构的核心必须是实时、可靠和可扩展的。
使用 Apache Kafka 进行数据流是数据网格的完美基础： 哑管道和智能端点真正分离了独立的应用程序。这种域驱动的设计使团队能够专注于数据产品：
与 Lambda 架构不同，在此方法中，您仅在处理代码更改并需要重新计算结果时重新处理。
全球数据流
Apache Kafka 的多集群和跨数据中心部署已成为常态，而不是例外。
一些方案需要具有特定要求和权衡的 多集群 Kafka 部署，包括灾难恢复、分析聚合、云迁移、任务关键型延伸部署和全局 Kafka。
具有实时生成 AI （GenAI） 数据流的自然语言处理 （NLP）
自然语言处理 （NLP） 帮助现实世界中的许多项目实现 服务台自动化、客户与聊天机器人的对话、社交网络中的内容审核以及许多其他用例 多年来，许多企业将 NLP与数据流相结合 ，以实现实时业务流程。
Apache Kafka 成为 这些机器学习平台中的主要编排层 ，用于集成各种数据源、大规模处理和实时模型推理。
以下架构展示了团队如何轻松地将生成式 AI 和其他机器学习模型（如大型语言模型，LLM）添加到其现有的数据流架构中：
上市时间至关重要。人工智能不需要全新的企业架构。真正的解耦允许添加新的应用程序/技术并将其嵌入到现有的业务流程中。
Expedia就是一个很好的例子：这家在线旅游公司在现有的呼叫中心场景中增加了一个聊天机器人，以降低成本，增加响应时间，让客户更满意。
使用数据流的数字原生代的新客户案例
数据流正在发生如此多 的创新 。 数字原生代引领竞争。自动化和数字化改变了科技公司 创造全新商业模式的方式。
大多数数字原生代使用 云优先方法来缩短上市时间、提高灵活性，并专注于业务逻辑 而不是运营 IT 基础架构。当您从小处着手，但从一开始就从大处着眼和全球化时，弹性可扩展性变得更加重要。
以下是 来自全球电信公司的一些客户案例：
- New Relic：可观测性平台，每分钟摄取多达 70 亿个数据点，用于实时和历史分析。
- Wix：使用全球数据网格构建的在线拖放工具的 Web 开发服务。
- Apna：印度最大的招聘平台，由人工智能提供支持，将客户需求与应用程序相匹配。
- Expedia：在线旅游平台，利用数据流提供对话式聊天机器人服务，融合 了履行、自然语言理解和实时分析等复杂技术。
- Alex Bank：一家 100% 数字和云原生银行，使用实时数据实现全新的数字银行体验
了解更多资源
这篇博文只是一个起点。在以下点播网络研讨会录像、相关幻灯片和其他资源（包括有关用例的非常酷的白板视频）中了解有关数据流和数字原生代的更多信息。
点播视频录制
视频 记录 探讨了电信行业的数据流趋势和架构。 主要重点是数据流案例研究。查看我们的点播录音：
幻灯片
如果您更喜欢从幻灯片中学习，请查看用于上述录制的幻灯片：
幻灯片：2023 年面向数字原生代的 Apache Kafka 现状
数字原生代的数据流案例研究和白板视频
2023 年数字原生代的数据流状况令人着迷。 每个月都会出现新的用例和案例研究。这包括在整个组织中更好的数据治理、来自网络基础设施和移动应用程序的实时数据收集和处理数据、数据共享和与新业务模型的 B2B 合作伙伴关系，以及更多方案。
我们录制了 白板视频，简单有效地展示了数据流的价值。这些五分钟的视频探讨了数据流、相关体系结构和客户案例的商业价值。敬请关注;我将在接下来的几周内更新链接，并为每个故事和白板视频发布单独的博客文章。
而这仅仅是个开始。每个月，我们都会讨论不同行业的数据流状况。制造业是第一位的。其次是金融服务，然后是零售、电信、数字原生代、游戏等。