如果数据持久存储,如何在 kafka 上进行数据重新平衡

如果数据持久存储,如何在 kafka 上进行数据重新平衡

我是 kafka 的新手,准备将其用于生产。

如果某个主题当前分区的代理磁盘空间不足,或者可以向集群添加更多代理,那么可以使用哪些策略来重新平衡数据存储?

举一个简单的例子,假设一个主题最初有 3 个分区(为简化问题,假设为 1 个副本),3 个 Broker 各自存储该主题的 1 个分区,每个分区占用 1TB 的磁盘空间。

我如何添加 3 个新的代理服务器并将主题的分区数量更改为 6 个,并最终导致 6 个分区中的每一个在其代理上占用 500GB 磁盘空间的数据重新平衡结果?

我认为这个问题对于在 kafka 集群中永久存储大量数据至关重要。

谢谢。

答案1

您可以重新平衡集群https://www.linkedin.com/pulse/partitions-rebalance-kafka-raghunandan-gupta,或者如果你有 kafka 管理器(https://github.com/yahoo/kafka-manager)您可以从那里进行操作。

相关内容