HDFS +如何禁用数据节点磁盘上的“du -sk”验证

HDFS +如何禁用数据节点磁盘上的“du -sk”验证

我们正在使用 HDP 集群182 data node机器:

HDP 版本 - 2.6.4 Ambari 版本 2.6.1

我们注意到机器上存在以下行为data nodes(它发生在所有data-node机器和所有磁盘上)。

当我们执行如上例所示的命令时:

ps -eo s,user,cmd | grep ^[RD]
D hdfs     du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs     du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root     ps -eo s,user,cmd

注意-每个磁盘data node都是5.4 T Bytes

我们可以看到正在磁盘HDFS上运行“du -sk”data node

我们不喜欢这样,因为这意味着消耗高负载的 CPU 平均值,有时甚至会导致性能不佳。

我们理解HDFS需要运行“ du -sk”以验证磁盘空间,另一方面,它的成本是平均 CPU 负载高,有时甚至性能不佳。

是否可以HDFS通过某种方式来禁用此验证?

相关内容