与阿帕奇卡夫卡一起为数字双胞胎提供物联网架构

数字孪生是别的东西的虚拟表示。这可以是物理事物、过程或服务。这篇文章涵盖了数字双子在各个行业的优势和物联网架构，以及它与Apache Kafka、物联网框架和机器学习的关系。Kafka 经常用作中央事件流平台，用于构建可扩展且可靠的数字孪生和数字线程，用于实时流式传感器数据。

我最近已经详细地在博客上谈论这个话题：Apache Kafka作为数字孪生，用于开放、可扩展、可靠的工业物联网（IIoT）。因此，该帖子涵盖了事件流的关系，以及为什么人们选择 Apache Kafka 来构建一个开放、可扩展和可靠的数字孪生基础设施。

本文在这里扩展了有关构建开放和可扩展的数字孪生基础架构的讨论：

• 数字双比数字线
• 事件流、数字孪生与 AI / 机器学习之间的关系
• 使用 Apache Kafka 和其他 IoT 平台的数字双子的物联网架构
• 广泛的幻灯片和视频录制

构建数字孪生的关键

关键起飞：

• 数字孪生将现实世界（通常是物理事物）与数字世界融合在一起
• 阿帕奇卡夫卡为数字孪生实现开放、可扩展和可靠的基础设施
• 事件流补充 IoT 平台和其他后端应用程序/数据库。
• 机器学习 （ML） 和统计模型用于大多数数字双体系结构，以执行模拟、预测和建议。

数字线程与数字双子

术语”数字孪生”通常表示单个资产的副本。在现实世界中，有许多数字双胞胎存在。术语”数字线程”跨越一个或多个数字双胞胎的整个生命周期。欧洲步进有一个伟大的图形解释这一点：

当我们谈论”数字孪生”用例时，我们几乎总是指”数字线程”。

老实说，我的材料也是如此。这两个术语重叠，但“数字孪生”是”商定的流行语“。然而，了解这两个术语的关系和定义是很重要的。

数字双线和数字线程的用例

许多行业都存在用例。考虑一些示例：

• 减少停机时间
• 库存管理
• 车队管理
• 假模拟
• 运营规划
• 服务化
• 产品开发
• 医疗
• 客户体验

的幻灯片和讲座将更详细地讨论四种不同行业使用案例： 幻灯片和讲座将更详细地讨论四种使用案例。

• 虚拟新加坡：智慧城市的数字双子
• 智能基础设施： 整个建筑生命周期的数字解决方案
• 互联汽车基础 设施
• 结对人体加强医疗

这里的关键信息是，数字双胞胎不仅仅是自动化行业。相反，许多行业和项目可以通过构建数字孪生来增加商业价值和创新。

事件流、数字孪生与 AI/机器学习之间的关系

数字双线和AI/机器学习（ML）是互补概念。您需要应用 ML 才能使用数字孪生进行准确的预测。

数字孪生和 AI

MathWorks 的梅尔达·乌鲁索伊在Youtube 视频中展示了不同的数字孪生实现如何利用统计方法和分析模型：

示例包括基于物理的建模，用于模拟假设场景和数据驱动建模，以估计 RUL（剩余使用寿命）。

数字孪生和机器学习都有以下共同点：

• 持续学习、监控和行动
• （良好）数据是成功的关键
• 数据越多越好
• 实时性、可扩展性和可靠性是关键要求

使用 Apache Kafka 进行数字双子、机器学习和事件流

实时性、可扩展性和可靠性是构建数字双基础架构的关键要求。这清楚地表明了事件流和 Apache Kafka 如何适应此讨论。在这里，我不会详细介绍卡夫卡是什么，或者卡夫卡和机器学习之间的关系，因为这里有很多其他博客文章和视频。

回顾一下，让我们来看看常见的 Kafka ML 架构，该体系结构为模型培训、部署/评分和监控提供开放性、实时处理、可扩展性和可靠性：

数字双子技术的特点

以下五个特征描述了常见的数字孪生实现：

• 连接
  • 实物资产、企业软件、客户
  • 双向通信到摄用、命令和控制
• 均匀
  • 脱钩和标准化
  • 信息虚拟化
  • 与多个代理共享，不受物理位置或时间的限制
  • 更低的成本，更容易测试、开发和预测
• 可重新编程和智能
  • 调整和改进特性，开发产品的新版本
• 数字跟踪
  • 回到时间，分析历史事件，诊断问题
• 模块 化
  • 产品和生产模块的设计和定制
  • 调整模型和机器的模块

实现这些特征有很多选项。让我们来看看一些物联网平台，以及事件流和 Apache Kafka 如何融入讨论。

物联网平台、框架、标准和云服务

市场上提供大量物联网解决方案。物联网分析研究在2019年谈论了600多个物联网平台。所有人都有他们的”生存权”：-）在大多数情况下，其中一些工具是组合的。没有必要或有充分理由只选择一个解决方案。

让我们快速了解一下一些产品及其权衡。

专有物联网平台

• 相关 IIoT 协议（如西门子 S7、Modbus 等）和标准（如 OPC-UA）的复杂集成
• 不是单个产品（大量收购、OEM 和不同的代码库通常是基础）
• 通常非常昂贵
• 专有（只是打开的接口）
• 通常有限的可扩展性
• 示例：西门子 MindSphere、思科动能、GE 数字和 Predix

来自云提供商的 IoT 产品

• 用于 IoT 管理的先进工具（设备、阴影、…）
• 与其他云服务（存储、分析、…） 良好的集成
• 供应商锁定
• 没有重点关注混合和边缘（但一些本地产品）
• 可扩展性有限
• 通常成本高（超越”你好世界”）
• 示例：所有主要云提供商都提供 IoT 服务，包括 AWS、GCP、Azure 和阿里巴巴

基于标准的/开源物联网平台

• 开放和基于标准（e

MQTT）

开源/开放核心业务模式

与基础设施无关

不同的供应商在核心技术背后贡献和竞争（竞争意味着创新）

有时不太成熟或不存在连接（尤其是旧协议和专有协议）

示例：开源框架，如Eclipse IoT、Apache PLC4X或节点-RED以及 MQTT 和相关供应商（如 HiveMQ）等标准

权衡：为一个标准（例如 MQTT 的 HiveMQ）或多样性提供可靠的产品，但不针对任务关键型扩展（例如节点-RED）

具有 Apache Kafka 和其他 IoT 平台的数字双/数字线程的 IoT 架构

因此，我们了解到有数百种物联网解决方案可用。因此，阿帕奇卡夫卡如何融入这次讨论？

正如其他博客文章和下面的幻灯片/视频录制中所讨论的：对数字 Twins 开放、可扩展和可靠的基础架构有着巨大的需求。这就是Kafka发挥作用的地方，为实时消息传送、集成和处理提供任务关键型事件流平台。

卡夫卡与数字双胞胎的五大特征

让我们看一下下面的几个体系结构。请记住上面讨论的数字双胞胎的五个特征及其与卡夫卡的关系：

• 连接– Kafka Connect 提供与 IoT 接口、大数据解决方案和云服务的实时扩展连接。卡夫卡生态系统是免费的，与其他中间件和物联网平台没有竞争力。
• 同质化– 客户（即生产者和消费者）之间的真正脱钩是卡夫卡的主要优势之一。利用不同技术（JSON 架构、Avro、Profobuf 等）实现架构管理和实施，可实现数据感知和标准化。
• 可重新编程和智能– Kafka 是微服务体系结构的实际标准，原因正是：关注点分离和域驱动设计 （DDD）。部署新的分离应用程序，并执行版本控制、A/B 测试、金丝雀化。
• 数字跟踪– 卡夫卡是分布式提交日志。事件是附加的，只要您想要（可能永远保留时间 = -1）和不可变存储。说真的，还有什么其他技术可以更好地用于为数字孪生构建数字跟踪？
• 模块化– 卡夫卡基础设施本身是模块化和可扩展的

NET、C++ 等。借助这种模块化，您可以轻松地构建边缘、混合或全局方案的正确数字双子架构，并将 Kafka 组件与任何其他 IoT 解决方案相结合。

数字孪生的以下每个 IoT 体系结构都有其优缺点。根据您的整体企业架构、项目情况和许多其他方面，选择正确的体系结构：

方案1：数字双单体

物联网平台非常适合集成和构建数字孪生。无需使用其他数据库或与企业的其余部分集成。

方案2：数字双对子作为外部数据库

IoT 平台用于与 IoT 终结点集成。数字孪生数据存储在外部数据库中。这可以类似于蒙戈DB、弹性数据库、出蓄数据库或云存储。数据库只能用于存储和其他任务，如处理、仪表板和分析。

与另一种产品的组合也很常见。例如，像Tableau、Qlik 或 Power BI 这样的商业智能 （BI） 工具可以使用数据库的 SQL 界面进行交互式查询和报告。

方案 3：卡夫卡作为数字孪生和企业其余部分的主干

IoT 平台用于与 IoT 终结点集成。Kafka是提供其他组件之间的脱钩的中心事件流平台。因此，中心层是开放的，可扩展的和可靠的。数据库用于数字孪生（存储、仪表板、分析）。其他应用程序还使用 Kafka 的部分数据（某些实时、同一批处理、一些请求-响应通信）。

方案 4：卡夫卡作为物联网平台

Kafka是向 IoT 终结点和其他应用程序提供任务关键型实时基础结构和集成层的中心事件流平台。数字孪生在其解决方案中实现。在此示例中，它不像上面的示例那样使用数据库，而是使用云 IoT 服务（如 Azure 数字孪生）cheeli.com.cn/wp-content/uploads/2020/04/4-Kafka-as-IoT-Platform-1024×576.png” 宽度=”1024″/*

方案 5：卡夫卡作为 IoT 平台

卡夫卡是用来实施数字孪生。不涉及任何其他组件或数据库。其他消费者使用原始数据和数字孪生数据。

与所有其他体系结构一样，这有优缺点。这种方法的主要问题是Kafka是否可以替换数据库以及如何查询数据。首先，Kafka可用作数据库（查看链接博客文章中的详细讨论），但不会取代其他数据库，如甲骨文、MongoDB或弹性搜索。

话虽如此，我已经看到卡夫卡在自动化、航空，甚至银行业的数字双基础设施的几个部署。

特别是考虑到”分层存储“（一个卡夫卡功能目前在KIP-405中讨论，并已由Confluent实现），卡夫卡得到越来越强大的长期存储。

幻灯片和视频录制 – 与阿帕奇卡夫卡数字孪生的 IoT 架构

本节提供幻灯片和视频录制，以更详细地讨论数字孪生用例、技术和体系结构。

甲板和讲座的议程：

• 数字双子 – 融合物理和数字世界
• 现实世界的挑战
• 物联网平台
• 阿帕奇卡夫卡作为物联网事件流解决方案
• 为数字孪生选择而破坏
• 全球物联网架构
• 适用于 100000 辆互联汽车的数字孪生

幻灯片

下面是幻灯片的长版本（内容多于用于视频录制的幻灯片）：

利用 Apache Kafka、IoT 平台和 AI/机器学习，实现数字双线程和数字线程的 IoT 架构

录像

视频录制包括上述幻灯片的”轻量级版本”：