Kafka 可以在没有水平分片的情况下处理云规模负载吗?

Kafka 可以在没有水平分片的情况下处理云规模负载吗?

根据此kadek.com 文章

Kafka 分区限制

Kafka 集群中的分区数量没有硬性限制。但这里有一些一般规则:

  • 每个代理最多有 4000 个分区(总共;分布在许多主题上)
  • 每个 Kafka 集群最多 200,000 个分区(总计;分布在多个主题上)
  • 每个 Kafka 集群最多有 50 个代理

如果出现问题,这可以减少停机时间。但请注意:突破这些限制不应该成为您的目标。在许多“中等数据”应用程序中,您不需要任何这些。

指导原则是每个集群最多有 50 个代理。

如果应用程序由于某种原因无法对其数据进行水平分片,这是否意味着基于单个 Kafka 集群的解决方案不适合云规模使用?我所说的云规模是指几乎无限数量的生产者和消费者。

相关内容