库伯内特的卡夫卡，斯特里姆齐路！（第 4 部分）

欢迎来到这个博客系列的第四部分！到目前为止，我们有一个包含 TLS 加密的 Kafka 单节点群集，在上面我们配置了不同的身份验证模式（ TLS 和 SASL SCRAM-SHA-512 ），使用用户运算符定义了用户，使用 CLI 和 Go 客户端连接到群集，并查看了使用主题运算符管理 Kafka 主题是多么容易。到目前为止，我们的群集 ephemeral 使用持久性，在单节点群集的情况下，这意味着如果 Kafka 或 Zookeeper 节点（s）因任何原因 Pod 重新启动，我们将失去数据。

我们继续吧！在这部分中，我们将介绍：

如何配置 Strimzi 以添加群集的持久性。
浏览组件，如 PersistentVolume 和PersistentVolumeClaim
如何修改存储质量。
尝试扩展卡夫卡群集的存储大小。

该代码可在 GitHub – https://github.com/abhirockzz/kafka-kubernetes-strimzi/

我需要什么来完成本教程？

kubectl– https://kubernetes.io/docs/tasks/tools/install-kubectl/

我使用Azure Kubernetes 服务（AKS）来演示这些概念，但在很大程度上，它独立于 Kubernetes 提供程序。如果要使用， AKS 只需要一个Microsoft Azure 帐户，如果您还没有该get for FREE帐户，可以免费获取该帐户。

我不会重复本系列本部分或后续部分中的一些常见部分（如安装/安装（Helm、Strimzi、Azure Kubernetes 服务）、Strimzi 概述），并要求您参考第一部分

添加持久性

我们将从创建持久群集开始。下面是规范的片段（您可以访问完整的 YAML

Yaml

阿皮版本 : kafka.strimzi.io/v1beta1

元数据：


4

  命名 :  我的卡夫卡集群



5

规格：



6

  卡夫卡：



7

  版本 :  2.4.0



8

  副本 :  1



9

  存储：



10

尺寸： 2Gi


12

  删除声明 :  真实



13

....



14

  动物园管理员：



15

  副本 :  1



16

  存储：



17

  类型 :  持久声明



18

删除声明：  true




需要注意的关键事情：

storage.typepersistent-claim（与 ） ephemeral 在之前的例子中。
storage.size卡夫卡和动物园管理员节点 2Gi 是 1Gi 和分别。
deleteClaim: true表示在删除 PersistentVolumeClaim /未部署群集时将删除相应的 s。


您可以查看参考https://strimzi.io/docs/operators/master/using.html#type-PersistentClaimStorage-reference storage https://strimzi.io/docs/operators/master/using.html#type-PersistentClaimStorage-reference

要创建群集：



壳
 




















x

1





- f https://raw.githubusercontent.com/abhirockzz/kafka-kubernetes-strimzi/master/part-4/kafka-persistent.yaml




让我们看看在响应群集创建时会发生什么
斯特里姆齐 · 库伯内特斯魔法...
Strimzi执行创建所需的 Kubernetes 资源以操作群集的所有繁重工作。我们在第1部分 （ StatefulSet 和 ） 服务 Pods 等 LoadBalancer 部分涵盖了 ConfigMap 其中 Secret 大部分.在此博客中，我们将重点介绍持久性相关组件 PersistentVolume -PersistentVolumeClaim
要检查 PersistentVolumeClaim s



壳
 




















x

1






             
          




1




3





4

名称  状态 卷容量 访问模式 存储类年龄



5

数据 - my - kafka - 群集 - 卡夫卡 - 0  绑定 pvc - b4ece32b - a46c - 4fbc - 9b58 - 9413e9c779 2gi  Rwo 默认  94s



6

数据 - my - kafka - 群集 - 动物园守护者 - 0  绑定 pvc - d705fea9 - c443 - 461c - 8d18 - acf8e219eab0 1gi Rwo 默认  3m20s





...和 PersistentVolume Bound s， 他们要



壳
 




















x

1






             
          




1




3





4

名称容量访问模式 回收策略状态声明存储类 原因年龄



5

pvc - b4ece32b - a46c - 4fbc - 9b58 - 9413eee9c779 2gi  Rwo  删除绑定  默认值 / 数据 - my - kafka - cluster - kafka - 0 默认 107s



6

pvc - d705fea9 - c443 - 461c - 8d18 - acf8e219eab0 1gi  Rwo  删除绑定默认值 / 数据 - my -  kafka - 群集 - 动物园守护者 - 0 默认 3m35s






请注意，磁盘大小与清单 （即） 中指定的一样。2和 1卡夫卡和动物园管理员的吉布分别

数据在哪里？
如果我们想要查看数据本身，让我们首先检查 ConfigMap 存储 Kafka 服务器配置的数据库：



壳
 




















x

1






             
          




1

获取配置图/$CLUSTER_NAME]-kafka - config - o yaml




在 server.config 部分中，您将找到这样的条目：



壳
 




















x

1






             
          




1

##########



2

##########


4

日志.dirs=/var/lib/kafka/数据/kafka-log$[STRIMZI_BROKER_ID]





这告诉我们，卡夫卡数据存储在 /var/lib/kafka/data/kafka-log${STRIMZI_BROKER_ID} 中。在这种情况下， STRIMZI_BROKER_ID 0 因为我们只有一个节点
有了这个信息，让我们来看看卡夫卡 Pod ：



壳
 




















x

1






             
          




1

获取吊舱/$CLUSTER_NAME]- kafka - 0 - o yaml




如果您查看该 kafka container 部分，您将注意到以下内容：
配置之 volumes 一：



Yaml
 




















x

1






             
          




1

卷：



2

• 持久卷索赔：


4

  声明名称 :  数据 - my - kafka - 群集 - 卡夫卡 - 0





volume命名 data 与 PVC data-my-kafka-cluster-kafka-0 关联，相应的 volumeMounts 使用此卷来确保 Kafka 数据存储在/var/lib/kafka/data



Yaml
 




















x

1






             
          




1

- 安装路径： /var/lib/kafka/数据


3

  名称 :  数据





要查看内容，



壳
 




















X

1






             
          




1

- 它是我的 - 卡夫卡集群 - 卡夫卡 - 0 - ls - lrt / var / lib / kafka / 数据 / 卡夫卡日志$[STRIMZI_BROKER_ID]





您也可以对 Zookeeper 节点重复相同的操作

云呢？
如前所述，在 AKS 的情况下，数据最终会存储在 Azure 托管磁盘中。磁盘的类型与 default AKS 群集中的存储类相同。在我的情况下，它是：



壳
 




















x

1






             
          




1




3

azure 文件kubernetes.io/azure-file 58d



4

azure 文件高级 58d kubernetes.io/azure-file



5

默认（默认）kubernetes.io/azure-disk 2d18h



6

管理溢价 kubernetes.io/azure-disk2d18h



7





8

获取存储类的详细信息



9

获取- o yaml






有关 中存储类 default 的语义 AKS
若要在 Azure 中查询磁盘， PersistentVolume 请使用 kubectl get pv/<name of kafka pv> -o yaml 提取信息并获取 Azure 磁盘的 ID，即spec.azureDisk.diskURI

可以使用 Azure CLI az disk show 命令



壳
 




















x

1






             
          




1

-- ids <磁盘值>















您将看到节中定义的存储 sku 类型 StandardSSD_LRS 对应于

此表提供了不同 Azure磁盘类型的比较




Json
 




















x

1






             
          




1

"sku"： |



2

"层"："标准"


4

  }





...和 tags 属性突出显示 PV 和 PVC 关联



Json
 




















x

1






             
          




1

"创建者"："库伯内特斯-azure-dd"


3

"kubernetes.io为 pv 名称创建的""pvc-b4ece32b-a46c-4fbc-9b58-9413e9c779"，



4

"kubernetes.io为 pvc 创建名称""数据 - my - kafka - cluster - kafka - 0"，



5

"kubernetes.io为 pvc 创建的命名空间""默认"



6

  }






您也可以对 Zookeeper 磁盘重复相同的错误

快速测试...
按照以下步骤确认群集是否正常工作。
创建生产者 Pod ：



壳
 




















x

1






             
          




1

导出KAFKA_CLUSTER_NAME=my - kafka 群集



2





3

-ti- 图像=斯特里姆齐/卡夫卡：最新-卡夫卡-2








0 - rm=真实 - 重新启动=从不- - bin / Kafka 控制台 - 生产者. Sh - 代理列表 $KAFKA _CLUSTER_NAME -卡夫卡引导： 9092 - 主题My - 主题




在另一个终端中，创建一个使用者 Pod ：



壳
 




















X

1






             
          




1




3

- - ---rm=true--restart=----bootstrap-server- - -- - - - - -- - - $KAFKA - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ---kafka-bootstrap--topic--from-beginning





如果...
让我们来探讨如何解决几个需求，您将遇到：

使用不同的存储类型 - 例如，在 Azure 的情况下，您可能希望将Azure 高级 SSD用于生产工作负荷
重新调整存储大小 - 在某些时候，您需要将存储添加到 Kafka 群集

更改存储类型
回想一下，默认行为是 Strimzi 创建 PersistentVolumeClaim 引用存储 default 类的 。若要自定义此属性，只需在 规范 class 中（和 storage spec.kafka /或 ）中包括 属性 spec.zookeeper 。
在 Azure 中 managed-premium storage ，该类对应于高级 SSD：kubectl get sc/managed-premium -o yaml
下面是存储配置中的代码段，其中 class: managed-premium 添加了1px;"•存储：


2

  类型 :  持久声明



3

  大小 :  2Gi



4

  删除声明 :  真实



5

  类 :  管理溢价





请注意，您无法更新现有群集的存储类型。要尝试以下选择：

删除现有群集 - kubectl delete kafka/my-kafka-cluster （等待一段时间）
创建新群集 -kubectl apply -f https://raw.githubusercontent.com/abhirockzz/kafka-kubernetes-strimzi/master/part-4/kafka-persistent-premium.yaml




壳
 




2

库布特尔删除卡夫卡 / 我的卡夫卡集群



3





4

创建新群集



5

- f https://raw.githubusercontent.com/abhirockzz/kafka-kubernetes-strimzi/master/part-4/kafka-persistent-premium.yaml





要确认，请检查 PersistentVolumeClain 卡夫卡节点 - 请注意 STORAGECLASS



壳
 




















x

1






             
          




1




3

名称  状态 卷容量 访问模式 存储类  年龄



4

数据 - my - kafka - 群集 - 卡夫卡 - 0  绑定 pvc - 3f46d6ed - 9da5 - 4c49 - 87ef - 86684ab21cf8 2gi  Rwo  管理高级 21s






我们只配置了 Kafka 代理使用高级存储，因此 Zoo 管理员 Pod 将使用存储 StandardSSD 类型。

调整存储大小（TL;DR - 尚未工作）
Azure 磁盘允许您向其添加更多存储空间。对于 Kubernetes，它是定义是否受支持的存储类 - 对于 AKS，如果检查默认（或 managed-premium ）存储类，您将注意到 属性 allowVolumeExpansion: true ，它确认您也可以在 Kubernetes PVC 的上下文中这样做。
Strimzi 使增加卡夫卡群集的存储非常容易 - 您只需要将 storage.size 字段更新到所需的值
现在检查 PVC：kubectl describe pvc data-my-kafka-cluster-kafka-0



纯文本

库伯内特的卡夫卡， 斯特里姆齐路！（第 4 部分）

我需要什么来完成本教程？

添加持久性

斯特里姆齐 · 库伯内特斯魔法...

数据在哪里？

云呢？

快速测试...

如果...

更改存储类型

调整存储大小（TL;DR - 尚未工作）

库伯内特的卡夫卡，斯特里姆齐路！（第 4 部分）