![Hadoop 是否仅从一块磁盘受益?](https://linux22.com/image/1451510/Hadoop%20%E6%98%AF%E5%90%A6%E4%BB%85%E4%BB%8E%E4%B8%80%E5%9D%97%E7%A3%81%E7%9B%98%E5%8F%97%E7%9B%8A%EF%BC%9F.png)
如果我使用只有一个磁盘的单节点设置Hadoop
,我可以轻松地使用它来玩弄一些东西,但在这种情况下使用另一个范例(不使用 mapreduce 进行处理等)Hadoop
实际上是否有任何好处?Hadoop
Python
答案1
Hadoop 的强大之处在于它使用分布式文件系统 (HDFS) 和分布式编程模型 (MapReduce)。处理无法在具有一个磁盘的单节点集群中并行化,因此 - 由于Hadoop 的开销- 更简单的范例可能会更快。
即使使用成熟的集群,如果日期集太小或算法不适合分布式处理(例如,查找中值),您也不会看到 Hadoop 的好处。
答案2
Hadoop完全基于分布式文件系统(HDFS),真正的强大之处就在于此。
但同时学习框架和理解其组件也很重要。这就是 Hadoop 提供 3 种安装模式的原因。
回答您的确切问题,单个磁盘不会从 Hadoop 的 HDFS 部分受益。但同样,它将有助于理解 Hadoop 的 MapReduce 组件。
如果您的配置系统很糟糕,我建议您进行伪集群设置,让两个虚拟机相互交互。