根据此kadek.com 文章,
Kafka 分区限制
Kafka 集群中的分区数量没有硬性限制。但这里有一些一般规则:
- 每个代理最多有 4000 个分区(总共;分布在许多主题上)
- 每个 Kafka 集群最多 200,000 个分区(总计;分布在多个主题上)
- 每个 Kafka 集群最多有 50 个代理
如果出现问题,这可以减少停机时间。但请注意:突破这些限制不应该成为您的目标。在许多“中等数据”应用程序中,您不需要任何这些。
指导原则是每个集群最多有 50 个代理。
如果应用程序由于某种原因无法对其数据进行水平分片,这是否意味着基于单个 Kafka 集群的解决方案不适合云规模使用?我所说的云规模是指几乎无限数量的生产者和消费者。