复制 hdfs 中的文件出现停滞

复制 hdfs 中的文件出现停滞

拥有一个 35 个节点的集群,其中包含大量块:每个数据节点约 450K 个块。

在配置更改(包括机架重新分配和 NameNode Xmx 增加)后,HDFS 出现了问题。它无法对随机块执行复制操作,当我尝试将文件复制到其他目录时,它经常会创建_COPYING_中间文件并卡住。如果我再次尝试同一个文件,它通常会成功。

如果它最终成功复制了卡住的文件,它会在控制台中发出警告

WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)

这可能是什么原因造成的?

答案1

解决了:

MTU(巨型数据包大小)设置为 1500 字节,更改为 9000

相关内容