caterpillar-undergoing-metamorphosis

我会把存在主义保持在最低限度,承诺

在本期”最佳 DZone”中,我们选择查看 Apache Kafka,这是一个低延迟流处理平台,自 LinkedIn 以来,它已成为实时流和分析、日志聚合和 Spark 数据引入的行业标准2011 年初将其发布给开源社区。

通过这个集合,我们希望为读者提供他们需要的资源和知识,无论他们在平台或大数据工作方面的专业水平如何,都能掌握 Kafka 的所有知识。

在开始之前,我们需要感谢那些参与本文的人。DZone 已经并将继续是一个由像您这样的贡献者提供支持的社区,他们渴望并热情地与世界其他地区分享他们所知道的知识。

让我们开始吧!

卡夫卡基础知识

  • 在《卡夫卡简介》中,开发人员普拉尚特·夏尔马讨论了卡夫卡的基础知识,包括消息系统背后的基础知识、卡夫卡的优势以及平台中的关键主题(主题、日志、分区、经纪人等)。

  • 约翰·哈明克和让-保罗·阿扎尔在《阿帕奇·卡夫卡简介》和《卡夫卡是什么》中进一步讨论了这个问题。你需要知道的一切,因为他进一步深入到Kafka背后的架构和功能,并描述了突出的用例和常见的缺点。

  • 然后,看看阿帕奇卡夫卡的基本原理由莫里茨普拉斯尼格。作家莫里茨·普拉斯尼格(Moritz Plassnig)对卡夫卡背后的理论进行了另一次探讨,他讨论了将消息模型组合和利用分布式日志记录。

  • 在《卡夫卡内部:消费者》中,阿伦·林加拉通过探索消费者如何在平台中工作,延续了我们在阿帕奇·卡夫卡的引擎盖下的外观。

  • 如果你不确定卡夫卡是否适合您的下一个项目,请阅读维塔利·萨莫法尔的这个由两部分组成的系列,因为他将卡夫卡比作兔子MQ,将ActiveMQ比作Redis Pub/Sub。第一部分和第部分可分别在这里和这里找到。

开始

cheeli.com.cn/wp-content/uploads/2019/10/kafka_diagram.png”标题=”组织基础设施中的卡夫卡”宽度=”411″/*

卡夫卡在组织基础设施 (来源

卡夫卡生产者和消费者

卡夫卡集群设置

  • 在本文中,西瓦普拉萨德拉奥贾纳帕蒂深入挖掘创建卡夫卡集群使用三个不同的经纪人。此外,他还为读者提供了一些有关 Kafka 的生产者、消费者、流和连接器 API 的背景。

  • Guarav Garg 在他的文章”如何设置 Kafka 群集”中再次出现此编译,其中他解释了如何创建独立于项目所需的节点数的群集。

  • Hitesh Jethva 提供了另一篇关于在Ubuntu-16.04 上配置 Apache Kafka 群集的群集文章,向读者展示了如何使用 Kafka 和 Java SDK 开始创建群集。

Kafka architecture

卡夫卡建筑 (来源

流处理

  • 有关 Kafka 流 API 的深入教程,请参阅萨蒂什·夏尔马关于实时流处理的三部分系列

com/文章/实时流处理-与阿帕奇-卡夫卡帕特”_第一部分,萨蒂什去流基础知识。在第二部分中,他扩展了这个问题,他浏览了DSL术语和转换,而在第三部分,他引导读者建立一个节点Kafka集群。

  • 在本文中,开发人员 Amy Boyle 解释了新遗迹如何构建其 Kafka 管道,其理念是尽可能平稳有效地处理当前规模的数据流。

  • 动态创建 Apache Kafka 主题作为数据流的一部分中,Tim Spann 引导读者以编程方式创建 Kafka 主题,作为流式传输的一部分。

  • 集成、测试和数据丢失防护

    • 对于那些需要将其 MongoDB 数据库连接到 Kafka 的人,请查看 Rober Walters撰写的文章,其中说明了如何使用这两个组件(这构成许多现代数据体系结构的核心)。

    • 在使用雅加达EE/微配置文件连接到阿帕奇卡夫卡第一和第部分,Otavio桑塔纳向读者展示如何安全地集成雅加达EE和Eclipse微配置文件,并在CDI框架上运行卡夫卡。

    • 对于您的所有测试需求,Nirmal Chandra 撰写的文章涵盖了声明性 Kafka 测试(以及涉及卡夫卡和 REST 的微服务测试)的基本方面。

    • ShreyaChaudhari在他的文章《阿帕奇·卡夫卡-复力、容错和高可用性》中讨论了卡夫卡使用复制因子和同步副本,以防止磁盘和代理故障情况下的数据丢失。

    其他学习

    • 想要一门全面的卡夫卡课程吗?看看Javin Paul的这篇文章,详细介绍了2019年的五门在线课程,这些课程将让你开始你的卡夫卡之旅。

    • 还是觉得你更需要卡夫卡?看看由马纳斯·达什在卡夫卡分享的思想,因为他提供了一些他最喜欢的资源在平台上。

    成为对话的一部分!

    你觉得我们错过了什么?想贡献吗?请让我们知道在下面的评论…或者,加入对话,成为我们社区中成千上万的开发人员的一员,他们渴望与他人分享他们的知识和编程热情com/文章/节点群集”[最佳节点和快递 [文章和教程]。

  • Scrum101:你需要知道的一切。
  • 完整的库伯内特系列[教程和工具]。
  • Comments are closed.