我有一个小的（测试）HDFS 集群，我将其用作 Flink 的快照备份空间。Flink 每秒创建和删除大约 1000 个（小）文件。namenode 一开始似乎可以毫无问题地处理这个问题，但随着时间的推移等待删除的块数直到文件系统满了为止。当我停止 Flink 作业（即不再执行创建/删除/... 操作）时，待处理块的数量每小时仅减少约 1.2e6。
我想知道的是……哪个部分导致了这种缓慢？名称、数据还是日志节点？这个速度是可以预期的吗，或者我可以调整一些配置以获得更快的速度吗？
答案1
我刚刚也遇到过这种情况。你应该更改 hdfs-site.xml 中的参数
<property>
<name>dfs.block.invalidate.limit</name>
<value>50000</value>
</property>
默认值为 1000，太慢了