在本期”最佳 DZone”中,我们选择查看 Apache Kafka,这是一个低延迟流处理平台,自 LinkedIn 以来,它已成为实时流和分析、日志聚合和 Spark 数据引入的行业标准2011 年初将其发布给开源社区。
通过这个集合,我们希望为读者提供他们需要的资源和知识,无论他们在平台或大数据工作方面的专业水平如何,都能掌握 Kafka 的所有知识。
在开始之前,我们需要感谢那些参与本文的人。DZone 已经并将继续是一个由像您这样的贡献者提供支持的社区,他们渴望并热情地与世界其他地区分享他们所知道的知识。
让我们开始吧!
卡夫卡基础知识
-
在《卡夫卡简介》中,开发人员普拉尚特·夏尔马讨论了卡夫卡的基础知识,包括消息系统背后的基础知识、卡夫卡的优势以及平台中的关键主题(主题、日志、分区、经纪人等)。
-
约翰·哈明克和让-保罗·阿扎尔在《阿帕奇·卡夫卡简介》和《卡夫卡是什么》中进一步讨论了这个问题。你需要知道的一切,因为他进一步深入到Kafka背后的架构和功能,并描述了突出的用例和常见的缺点。
-
然后,看看阿帕奇卡夫卡的基本原理由莫里茨普拉斯尼格。作家莫里茨·普拉斯尼格(Moritz Plassnig)对卡夫卡背后的理论进行了另一次探讨,他讨论了将消息模型组合和利用分布式日志记录。
-
在《卡夫卡内部:消费者》中,阿伦·林加拉通过探索消费者如何在平台中工作,延续了我们在阿帕奇·卡夫卡的引擎盖下的外观。
-
如果你不确定卡夫卡是否适合您的下一个项目,请阅读维塔利·萨莫法尔的这个由两部分组成的系列,因为他将卡夫卡比作兔子MQ,将ActiveMQ比作Redis Pub/Sub。第一部分和第二部分可分别在这里和这里找到。
开始
-
Gopal Tiwari 在他的文章”在 Windows 操作系统上设置和运行 Apache Kafka”中,让 Windows 用户使用 Kafka 启动并运行,因为他引导读者完成安装、设置、运行 Kafka 服务器、创建主题和运行测试服务器。
- 对于那些希望使用Scala与卡夫卡,舒巴姆有你的背在他的教程,阿帕奇卡夫卡与Scala,因为他解释了如何开始与框架和Scala项目。
-
在Apache Kafka: 基本设置和使用与命令线界面,钱德拉·谢哈尔·潘迪解释基本命令,将允许读者运行 Kafka Broker 并生成和使用消息, 主题详细信息, 和偏移详细信息
cheeli.com.cn/wp-content/uploads/2019/10/kafka_diagram.png”标题=”组织基础设施中的卡夫卡”宽度=”411″/*
卡夫卡生产者和消费者
-
Gaurav Garg在两部分系列中为用户提供了另一篇关于卡夫卡设置的文章,然后向读者展示了如何使用卡夫卡经纪人在卡夫卡生产商和消费者示例使用Java制作和使用记录。
-
深入探讨在爪哇编写卡夫卡消费者中的卡夫卡消费者,因为开发人员让-保罗·阿扎尔(Jean-Paul Azar)引导读者使用Java编写使用者来接收和处理记录并设置日志记录。
需要一些使用卡夫卡和弹簧靴的帮助?一定要给拉胡尔·洛库尔特的文章,卡夫卡与弹簧靴的教程。 -
第二次出现在这个汇编是约翰·哈明克,因为他解释了如何使用Kafka和Python的数据流创建生产者和消费者。如果你努力为这个主题的视频,看看没有比什雷亚斯乔达里的文章,阿帕奇卡夫卡在行动。
-
对于所有的东西分区和生产者,看到这些作品由安吉塔·阿格拉瓦尔,艾米·博伊尔和西尔维斯特·丹尼尔,因为他们解释这些关键概念在卡夫卡在阿帕奇卡夫卡主题:架构和分区,有效卡夫卡主题分区的策略,和卡夫卡生产者概述。
卡夫卡集群设置
-
在本文中,西瓦普拉萨德拉奥贾纳帕蒂深入挖掘创建卡夫卡集群使用三个不同的经纪人。此外,他还为读者提供了一些有关 Kafka 的生产者、消费者、流和连接器 API 的背景。
-
Guarav Garg 在他的文章”如何设置 Kafka 群集”中再次出现此编译,其中他解释了如何创建独立于项目所需的节点数的群集。
-
Hitesh Jethva 提供了另一篇关于在Ubuntu-16.04 上配置 Apache Kafka 群集的群集文章,向读者展示了如何使用 Kafka 和 Java SDK 开始创建群集。
流处理
-
有关 Kafka 流 API 的深入教程,请参阅萨蒂什·夏尔马关于实时流处理的三部分系列
com/文章/实时流处理-与阿帕奇-卡夫卡帕特”_第一部分,萨蒂什去流基础知识。在第二部分中,他扩展了这个问题,他浏览了DSL术语和转换,而在第三部分,他引导读者建立一个节点Kafka集群。
在本文中,开发人员 Amy Boyle 解释了新遗迹如何构建其 Kafka 管道,其理念是尽可能平稳有效地处理当前规模的数据流。
在动态创建 Apache Kafka 主题作为数据流的一部分中,Tim Spann 引导读者以编程方式创建 Kafka 主题,作为流式传输的一部分。
集成、测试和数据丢失防护
-
对于那些需要将其 MongoDB 数据库连接到 Kafka 的人,请查看 Rober Walters撰写的文章,其中说明了如何使用这两个组件(这构成许多现代数据体系结构的核心)。
-
在使用雅加达EE/微配置文件连接到阿帕奇卡夫卡第一和第二部分,Otavio桑塔纳向读者展示如何安全地集成雅加达EE和Eclipse微配置文件,并在CDI框架上运行卡夫卡。
-
对于您的所有测试需求,Nirmal Chandra 撰写的文章涵盖了声明性 Kafka 测试(以及涉及卡夫卡和 REST 的微服务测试)的基本方面。
-
ShreyaChaudhari在他的文章《阿帕奇·卡夫卡-复力、容错和高可用性》中讨论了卡夫卡使用复制因子和同步副本,以防止磁盘和代理故障情况下的数据丢失。
其他学习
-
想要一门全面的卡夫卡课程吗?看看Javin Paul的这篇文章,详细介绍了2019年的五门在线课程,这些课程将让你开始你的卡夫卡之旅。
-
还是觉得你更需要卡夫卡?看看由马纳斯·达什在卡夫卡分享的思想,因为他提供了一些他最喜欢的资源在平台上。
成为对话的一部分!
你觉得我们错过了什么?想贡献吗?请让我们知道在下面的评论…或者,加入对话,成为我们社区中成千上万的开发人员的一员,他们渴望与他人分享他们的知识和编程热情com/文章/节点群集”[最佳节点和快递 [文章和教程]。