拥有一个 35 个节点的集群,其中包含大量块:每个数据节点约 450K 个块。
在配置更改(包括机架重新分配和 NameNode Xmx 增加)后,HDFS 出现了问题。它无法对随机块执行复制操作,当我尝试将文件复制到其他目录时,它经常会创建_COPYING_
中间文件并卡住。如果我再次尝试同一个文件,它通常会成功。
如果它最终成功复制了卡住的文件,它会在控制台中发出警告
WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)
这可能是什么原因造成的?
答案1
解决了:
MTU(巨型数据包大小)设置为 1500 字节,更改为 9000