我们正在使用 HDP 集群182 data node
机器:
HDP 版本 - 2.6.4 Ambari 版本 2.6.1
我们注意到机器上存在以下行为data nodes
(它发生在所有data-node
机器和所有磁盘上)。
当我们执行如上例所示的命令时:
ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd
注意-每个磁盘data node
都是5.4 T Bytes
。
我们可以看到正在磁盘HDFS
上运行“du -sk”data node
我们不喜欢这样,因为这意味着消耗高负载的 CPU 平均值,有时甚至会导致性能不佳。
我们理解HDFS
需要运行“ du -sk
”以验证磁盘空间,但另一方面,它的成本是平均 CPU 负载高,有时甚至性能不佳。
是否可以HDFS
通过某种方式来禁用此验证?