Hadoop 是否仅从一块磁盘受益?

Hadoop 是否仅从一块磁盘受益?

如果我使用只有一个磁盘的单节点设置Hadoop,我可以轻松地使用它来玩弄一些东西,但在这种情况下使用另一个范例(不使用 mapreduce 进行处理等)Hadoop实际上是否有任何好处?HadoopPython

答案1

Hadoop 的强大之处在于它使用分布式文件系统 (HDFS) 和分布式编程模型 (MapReduce)。处理无法在具有一个磁盘的单节点集群中并行化,因此 - 由于Hadoop 的开销- 更简单的范例可能会更快。

即使使用成熟的集群,如果日期集太小或算法不适合分布式处理(例如,查找中值),您也不会看到 Hadoop 的好处。

答案2

Hadoop完全基于分布式文件系统(HDFS),真正的强大之处就在于此。

但同时学习框架和理解其组件也很重要。这就是 Hadoop 提供 3 种安装模式的原因。

回答您的确切问题,单个磁盘不会从 Hadoop 的 HDFS 部分受益。但同样,它将有助于理解 Hadoop 的 MapReduce 组件。

如果您的配置系统很糟糕,我建议您进行伪集群设置,让两个虚拟机相互交互。

相关内容