对于一个相对较小的 1TB 集群(复制后实际为 2TB),我试图确定 namenode 的理想内存/CPU 大小,作为最终用户,我断断续续地使用过 Hadoop,我无法想象它会太疯狂...但是在谷歌上搜索 Hadoop 最低要求并没有给出任何明确的答案,甚至没有推荐的服务器设置。
答案1
这将更多地取决于 HDFS 中有多少文件。经验法则是,namenode 进程本身每处理 DFS 中保存的一百万个对象(文件、目录、块)大约需要 1GB 内存。CPU 需求应该是微不足道的。
https://twiki.grid.iu.edu/bin/view/Storage/HadoopUnderstanding对需要考虑的一些事项进行了全面的概述。