如何避免(跳过)写入或复制过程中的数据节点已满

如何避免(跳过)写入或复制过程中的数据节点已满

我在自己的硬件上启动了一个小型 Hadoop 集群用于实验,有三个数据节点,磁盘空间为 30GB。后来我又添加了两个节点,每个节点有 200GB,现在我的集群大约有 420GB。我的副本因子是 2。今天我的起始数据节点已满,即使新数据节点有可用空间,当集群尝试复制块时,集群上的写入也会失败。我假设名称节点正在尝试将块复制到已满的数据节点。我一直在阅读有关管理卷写入的策略 (dfs.datanode.fsdataset.volume.choosing.policy) 的信息,但似乎对数据节点上的副本过程没有影响。
有没有一种方法或策略可以在数据节点已满时忽略写入或副本过程。

提前致谢

相关内容