Hadoop 集群硬件:少数大型集群 vs 多数小型集群

Hadoop 集群硬件:少数大型集群 vs 多数小型集群

我们正在寻求帮助,决定购买哪种硬件来支持内部 Hadoop 集群。我公司目前使用 1 台专用 Hadoop 服务器,该服务器具有 196GB 内存和 24 个内核以及 6 个 1TB SATA 硬盘。我们想扩大容量,但不确定购买哪种服务器最划算。我们打算在设备上花费大约 10,000 英镑,并考虑过戴尔 PE m710 等刀片服务器,在我们的预算范围内,我们可以购买 8 台刀片服务器,每台刀片服务器有 12 个内核、288GB 内存和 4x600GB SAS 硬盘,并配有外壳。这是对可用资金的合理利用吗?还是配置更好的新服务器更合适?

非常感谢你的帮助

答案1

dell PE m710,我们可以得到 8 个刀片,每个刀片有 12 个核心、288 GB 内存和 4x600 GB SAS 驱动器

  • Hadoop 节点应该很便宜(例如超微)并且具有 2U 大小。
  • 600 GB SAS - 糟糕的选择。您需要 12x4GB SATA 7200rpm 之类的东西,不带 RAID
  • 最重要的是网络。您应该使用具有 Bonding 的 10Ge 或 1G。

请阅读这个: https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/

相关内容