我们希望根据我们在 Kafka 磁盘上的问题提出以下建议
我们有许多HDP集群(基于ambari,所有机器都是redhat版本7.2)
每个集群包含 3 台 kafka 机器,每台 kafka 包含约 15 T 的磁盘
因为我们有很多问题,磁盘使用容量增加到 100%(由于某种原因,kafka Retention 无法正常工作)
然后我们考虑每分钟在 kafka 机器上运行的 cron 任务
例如,当 Kafka 磁盘大小为 ~90% 时
然后 cron 作业将停止所有 kafka 代理(kafka 服务)
这样我们就避免了 kafka 磁盘达到 100%,(众所周知,当磁盘达到 100% 时,清除过程将不起作用)
请分享你的看法