你听说过AMQ流吗?这是一个卡夫卡平台的基础上阿帕奇卡夫卡和红帽供电。AMQ Streams 的一大优势是,作为所有红帽工具,它是开源的。

这篇文章是关于阿帕奇卡夫卡的一个共同特点,叫做卡夫卡连接我将解释它如何与 OpenShift 配合使用。

什么是卡夫卡连接?

卡夫卡连接阿帕奇卡夫卡的开源组件®。它是一个框架,用于将 Kafka 与外部系统(如数据库、键值存储、搜索索引和文件系统)连接起来。电报平台是这些系统之一,在本文中,我将演示如何使用Kafka连接部署在OpenShift上,从电报获取数据。

卡夫卡连接API架构

基本上有两种类型的卡夫卡连接器:

来源:

源连接器从系统收集数据并将其发送到 Kafka 主题,例如,我们可以从电报获取消息并将其放入 Kafka 主题中。

Synk:

接收器连接器将 Kafka 主题的数据传递到其他系统,这些系统可能被索引为弹性搜索、批处理系统(如 Hadoop)或任何类型的数据库。

执行 Kafka 连接有两种方法:独立和分布式。但是,操作员仅支持 OpenShift 中的分布式模式。这不是限制,因为建议在生产环境中设置独立模式的 Kafka 分发。

Sources and Synks workflow

Kafka 连接器使用独立于卡夫卡代理的环境,在 OpenShift Kafka 连接API 上运行在分离的窗格中。

在此示例中,我们将使用源连接器我们需要这个令牌在 OpenShift 上生成一个秘密,以卡夫卡连接可以接收来自电报的消息。要创建此机器人,请参阅文章 –机器人:开发人员简介

执行此演示所需的文件位于 GitHub 上。单击此处开始下载。这些文件有一个数字,用于标识本文中它们的使用顺序。任何人可以下载并复制此演示。

让我们开始

第一步是在 OpenShit 上部署 AMQ 流。为此,请使用红帽网站上提供的 Strimzi 运算符。要下载的文件的链接是”红帽 AMQ 流 1.4.1 开放移位安装和示例文件“。

Download AMQ Streams

如果您愿意,我生成了一个包,该运算符也可在GitHub上提供。

使用以下命令在 OpenShift 上安装 AMQ 流 (卡夫卡)。

电源外壳