我们阅读最新的 Apache 文档https://kafka.apache.org/35/documentation.html
有趣的是,文档中没有提到使用 NFS 存储的选项,如 Netapp 或 ONTAP
一些背景知识 - 我们支持本地拥有 34 台机器的 Kafka 集群,Kafka 使用内部 SAS 磁盘
kafka 代理设置(机器规格和磁盘):
34 个 kafka 代理,Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz,16 核。
每个 Broker 都有 sdb 设备挂载到 /var/kafka,大小为 44.6T。
sdb 设备由 16 个 SAS 磁盘 ~1TB 在 RAID-10 中组合而成。这意味着 8 个磁盘用作奇偶校验。
现在根据客户要求,客户希望检查将 On Prem 存储移动为 Netapp 存储而不是物理磁盘的选项
老实说,我有点困惑,因为我们看到一些文档不喜欢通过 NFS 使用 Kafka 集群的想法,如下所示
2)https://strimzi.io/docs/operators/latest/configuring.html#considerations-for-data-storage-str
3)https://docs.confluent.io/platform/current/kafka/deployment.html#disks
4)https://sbg.technology/2018/07/10/kafka-nfs/
5)https://stackoverflow.com/questions/60900481/kafka-doesnt-work-with-external-nfs-volume
以及其他支持使用 Netapp 或 Ontap 的想法的文档,如下所示
https://github.com/NetApp/trident/issues/808
或者
上面的链接说:
对于 ONTAP 9.12.1 及更高版本、NFSv4.1 以及 RHEL 8.7 或 9.1 及更高版本中的 Linux 更改,有一些修复程序可以支持通过 NFS 运行 Kafka。有关此问题的一些详细信息,请访问https://www.netapp.com/blog/simplify-apache-kafka-confluent/。为了在 ONTAP 中启用此功能,9.12.1 中有一个新的卷设置,称为“-is-preserve-unlink-enabled”,必须将其设置为“true”。要求 Trident 提供一种方法来启用此设置,以便可以使用 ontap-nas 或 ontap-nas-economy 驱动程序创建 Kafka 的 PVC。
所以我们是否可以说只有 ONTAP 9.12.1 及更高版本以及 Linux RHEL 8.7 或 9.1 及更高版本才能支持 Kafka 集群?