我们想要在 RHEL OS 上设计包含 7 台 kafka 机器的生产 kafka 集群
kafka 版本应该是 -2.7
通常我们安装 kafka 机器/磁盘如下RAID 10
(正如 Confluent 推荐的)
但可能有些人知道 Kafka 磁盘可以配置为 Jbod(这意味着每个磁盘都将定义在 中logs dir
,与此相反RAID10
,所有磁盘实际上都在 RAID 中并表示为一个磁盘
例如,RAID10
在 RHEL OS 中将显示为一个磁盘 -sdb
而 Jbof 将在 OS 中显示为
sdb
sdc
sdd
sde
.
.
.
在处理 Kafka 磁盘时,最大的问题是更好的?,特别是从 Kafka 的角度来看表现边
https://www.trentonsystems.com/blog/jbod-vs-raid-what-are-the-differences
https://docs.cloudera.com/runtime/7.2.10/kafka-configuring/topics/kafka-config-jbod.html
答案1
性能方面,JBOD 可为您提供更多容量和更高的吞吐量。RAID 最终会进行 IO 操作,以确保数据分区并存在于多个位置,以容忍磁盘故障。
https://www.arcserve.com/blog/understanding-raid-performance-various-levels
但是,如果您设置了复制因子,那么您基本上就可以确保数据安全。操作方面则稍微复杂一些,您需要确保 JBOD 上的数据分布良好,这可以通过 Cruisecontrol 实现,或者编写自己的脚本来使用副本分配。