☰

删除 kafka 主题文件夹的最安全、最佳方法是什么

tag-icon • tag-icon linux hadoop kafka
删除 kafka 主题文件夹的最安全、最佳方法是什么

在我们所有的 kafka 机器（生产机器）上，我们看到：（没有可用空间）

df -h /var/kafka 
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb         11T   11T  2.3M 100% /var/kafka

及以下/var/kafka/kafka-日志

我们将所有主题文件夹（巨大尺寸）视为示例：

117G hgpo.llo.prmt.processed-28 
117G hgpo.llo.prmt.processed-29 
117G hgpo.llo.prmt.processed-3 
117G hgpo.llo.prmt.processed-30 
117G hgpo.llo.prmt.processed-31 
117G hgpo.llo.prmt.processed-32

从文件夹中删除主题的最佳方法是什么/var/kafka/kafka-日志，

以及具体步骤是什么，例如在删除之前停止服务等等。

第二个重要问题：

自动删除主题的机制是什么？

答案1

使用适当的log.retention.X代理属性，如下所述这里。默认情况下，日志保留 168 小时（7 天），但您可以将其设置为最短 1 毫秒（这对于彻底清除主题很有用）。

您还可以使用 根据每个主题设置保留期bin/kafka-topics.sh。

在更改这些属性之前，您应该阅读并理解日志保留和压缩文档。

还要注意，日志不会被立即清除，因此如果您继续写入日志，则可能会在释放旧空间之前耗尽磁盘空间。

最后，检查 Kafka 代理运行时日志——根据代理上发生的情况，它们也可能变得非常大。使用truncateLinux 上的命令清除它们。

相关内容