我们计划构建一个有 12 个数据节点的 Hadoop 集群
when the replication factor is 3
and DataNode failed disk tolerance - 1
数据节点机器包括 HDFS 的磁盘
因为我们没有找到每个数据节点需要多少个磁盘的标准
我们不确定应该为每个数据节点分配的最小磁盘数量
每个数据节点的最小磁盘数量是多少，假设复制因子为 3
答案1
由于您的磁盘容差为 1，那么最好至少为 HDFS 配备 3 个磁盘，因为即使丢失了 1 个磁盘，您仍然有 2 个磁盘在运行，并且可以进一步容忍 1 个磁盘故障和 1 个用于操作系统和其他相关内容的磁盘，以保持事物分离。
它总是建议用户使用较多数量的小型磁盘。
请参阅以下链接以更好地了解存储架构选择 -