避免 kafka 磁盘被 Cron 任务占用 100%

避免 kafka 磁盘被 Cron 任务占用 100%

我们希望根据我们在 Kafka 磁盘上的问题提出以下建议

我们有许多HDP集群(基于ambari,所有机器都是redhat版本7.2)

每个集群包含 3 台 kafka 机器,每台 kafka 包含约 15 T 的磁盘

因为我们有很多问题,磁盘使用容量增加到 100%(由于某种原因,kafka Retention 无法正常工作)

然后我们考虑每分钟在 kafka 机器上运行的 cron 任务

例如,当 Kafka 磁盘大小为 ~90% 时

然后 cron 作业将停止所有 kafka 代理(kafka 服务)

这样我们就避免了 kafka 磁盘达到 100%,(众所周知,当磁盘达到 100% 时,清除过程将不起作用)

请分享你的看法

相关内容