我们将在数百个(比如说 300 个)物理 x86 节点上部署一个 Hadoop 集群。由于我们没有太多的生产部署经验,因此我们想听听有经验的人的回答,就像标题一样,有一个简单的问题。最佳实践是什么?我们应该直接在物理机上部署 Hadoop,还是需要一个虚拟机层(即 IaaS 云)来管理 Hadoop 集群的计算资源。在做出这个决定时应该注意什么问题?
答案1
Hadoop 的设计目标是在裸机硬件上运行。
它旨在为您管理资源分配。
另一层只是可以避免的开销。
但最佳实践很难说,这取决于许多因素。
你应该读一读https://cwiki.apache.org/confluence/display/HADOOP2/Virtual+Hadoop并做出决定。
本文阐述了反对在虚拟环境中运行 Hadoop 的原因,并解释了为什么有些人仍然想这样做。