基于 Raspberry Pi 的 Hadoop 集群

基于 Raspberry Pi 的 Hadoop 集群

是否至少可以从基于 Raspberry Pi 的节点构建 Hadoop 集群?这样的集群可以满足 Hadoop 的硬件要求吗?如果可以,需要多少个 Raspberry Pi 节点才能满足要求?

我知道由几个 Raspberry Pi 节点组成的集群很便宜,功能并不强大。我的目的是组织集群,而不会丢失台式机或笔记本电脑上的个人数据,并使用该集群学习 Hadoop。

如果您能就组织廉价的 Hadoop 集群用于学习目的提出任何更好的想法,我将不胜感激。

UPD:我看到 Hadoop 的推荐内存量为 16-24GB、多核处理器和 1TB 的 HDD,但这看起来并不是最低要求。

更新2:我理解 serverfault.com 是一个解决与生产系统相关问题的地方。与配置系统以供娱乐和个人使用相关的问题超出了范围。很抱歉问了这个问题。

答案1

这会非常糟糕。Hadoop 消耗的堆空间非常大。默认堆大小为 1000 MB,但几乎每个人都会增大它。256 MB 的 RAM 无法满足您的需要,在 GPU 和操作系统消耗殆尽之后,您可能不得不将 Java 限制为 128 MB,最小的作业也会耗尽堆空间。

JVM 在 ARM 上也非常慢。Red Hat 计划与 Linaro 合作,通过 Red Hat Enterprise Linux 7 改进此问题,但暂时不要指望在 ARM 上合理运行 Java 服务器负载。

相关内容