hadoop 是否单独处理不同节点 HD 大小?

hadoop 是否单独处理不同节点 HD 大小?

我有一个单节点(伪分布式配置),我正在考虑添加第二个从属节点。如果从属节点的 HD 容量较少,这有关系吗?重新平衡会自行解决这一问题吗?我远不是 HADOOP 专家。

答案1

不,这没关系,但是 HDFS 不会自动将块重新分配到新节点,因此您必须自己执行此操作。最简单的方法是运行bin/start-balancer.sh。此外,在进行任何重新平衡之前,请确保相应地修改您的 conf 文件以适应从伪分布式配置转移到集群配置。

查看有关重新平衡的更多方法,请参阅 Hadoop FAQ。

答案2

Hadoop 将平衡负载。此外,您可以设置“dfs.replication”属性来设置所需的复制次数。

相关内容