Hadoop集群+设计数据节点机器上的磁盘数量和最低要求

Hadoop集群+设计数据节点机器上的磁盘数量和最低要求

我们使用的是 HDP 版本 - 2.6.5 ,HDFS 块复制为 3

我们试图了解生产模式下数据节点磁盘的最低要求,并根据块复制 = 3 的事实

因为我们正在讨论生产集群并重新升级到 HDFS 副本 = 3

每个数据节点机器的最小磁盘数应该是多少?

答案1

复制因子仅意味着您需要所需的存储量 * 3. 关于磁盘,明智的做法是使用一个磁盘用于操作系统/软件,其余磁盘用于数据。由于您没有提供要存储的数据大小、所需的 I/O 操作,因此很难提供更详细的答案。但您可以考虑使用 3 个磁盘(如果是 DAS),其中一个用于操作系统/应用程序,两个(在镜像中)用于数据。

相关内容