kafka 集群 RAID 与 JBOD 与新硬件和 kafka 版本

kafka 集群 RAID 与 JBOD 与新硬件和 kafka 版本

我们想要在 RHEL OS 上设计包含 7 台 kafka 机器的生产 kafka 集群

kafka 版本应该是 -2.7

通常我们安装 kafka 机器/磁盘如下RAID 10 (正如 Confluent 推荐的)

但可能有些人知道 Kafka 磁盘可以配置为 Jbod(这意味着每个磁盘都将定义在 中logs dir,与此相反RAID10,所有磁盘实际上都在 RAID 中并表示为一个磁盘

例如,RAID10在 RHEL OS 中将显示为一个磁盘 -sdb

而 Jbof 将在 OS 中显示为

sdb
sdc
sdd
sde 
.
.
.

在处理 Kafka 磁盘时,最大的问题是更好的?,特别是从 Kafka 的角度来看表现

https://www.trentonsystems.com/blog/jbod-vs-raid-what-are-the-differences

https://docs.cloudera.com/runtime/7.2.10/kafka-configuring/topics/kafka-config-jbod.html

https://programmersought.com/article/5752568463/

答案1

性能方面,JBOD 可为您提供更多容量和更高的吞吐量。RAID 最终会进行 IO 操作,以确保数据分区并存在于多个位置,以容忍磁盘故障。

https://www.arcserve.com/blog/understanding-raid-performance-various-levels

但是,如果您设置了复制因子,那么您基本上就可以确保数据安全。操作方面则稍微复杂一些,您需要确保 JBOD 上的数据分布良好,这可以通过 Cruisecontrol 实现,或者编写自己的脚本来使用副本分配。

相关内容