为什么 apache Kafka 文档没有提供像 Netapp 一样通过 NFS 使用 Kafka 的功能

为什么 apache Kafka 文档没有提供像 Netapp 一样通过 NFS 使用 Kafka 的功能

我们阅读最新的 Apache 文档https://kafka.apache.org/35/documentation.html

有趣的是,文档中没有提到使用 NFS 存储的选项,如 Netapp 或 ONTAP

一些背景知识 - 我们支持本地拥有 34 台机器的 Kafka 集群,Kafka 使用内部 SAS 磁盘

kafka 代理设置(机器规格和磁盘):

34 个 kafka 代理,Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz,16 核。

每个 Broker 都有 sdb 设备挂载到 /var/kafka,大小为 44.6T。

sdb 设备由 16 个 SAS 磁盘 ~1TB 在 RAID-10 中组合而成。这意味着 8 个磁盘用作奇偶校验。

现在根据客户要求,客户希望检查将 On Prem 存储移动为 Netapp 存储而不是物理磁盘的选项

老实说,我有点困惑,因为我们看到一些文档不喜欢通过 NFS 使用 Kafka 集群的想法,如下所示

1)https://access.redhat.com/documentation/ru-ru/red_hat_amq_streams/2.1/html/configuring_amq_streams_on_openshift/assembly-deployment-configuration-str#considerations-for-data-storage-str

2)https://strimzi.io/docs/operators/latest/configuring.html#considerations-for-data-storage-str

3)https://docs.confluent.io/platform/current/kafka/deployment.html#disks

4)https://sbg.technology/2018/07/10/kafka-nfs/

5)https://stackoverflow.com/questions/60900481/kafka-doesnt-work-with-external-nfs-volume

以及其他支持使用 Netapp 或 Ontap 的想法的文档,如下所示

https://github.com/NetApp/trident/issues/808

或者

https://docs.netapp.com/us-en/netapp-solutions/data-analytics/kafka-nfs-why-netapp-nfs-for-kafka-workloads.html#architectural-setup

上面的链接说:

对于 ONTAP 9.12.1 及更高版本、NFSv4.1 以及 RHEL 8.7 或 9.1 及更高版本中的 Linux 更改,有一些修复程序可以支持通过 NFS 运行 Kafka。有关此问题的一些详细信息,请访问https://www.netapp.com/blog/simplify-apache-kafka-confluent/。为了在 ONTAP 中启用此功能,9.12.1 中有一个新的卷设置,称为“-is-preserve-unlink-enabled”,必须将其设置为“true”。要求 Trident 提供一种方法来启用此设置,以便可以使用 ontap-nas 或 ontap-nas-economy 驱动程序创建 Kafka 的 PVC。

所以我们是否可以说只有 ONTAP 9.12.1 及更高版本以及 Linux RHEL 8.7 或 9.1 及更高版本才能支持 Kafka 集群?

相关内容