设置多个 Hadoop 集群

设置多个 Hadoop 集群

希望这个问题没有偏离主题。我在 AskUbuntu 上问过这个问题,但没有得到回复:

我按照 Michael Noll 的出色指南在单个集群上设置了 Hadoop:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

我现在想设置第二个节点来执行一些处理。在本指南以及我见过的所有其他指南中,这些其他集群都位于同一个 LAN 上。但是,我正在使用大学提供的虚拟机进行项目,我使用 PuTTY 通过连接到其 IP 地址来访问它。我可以通过 Hadoop 将这台机器连接到完全不同 IP 地址上的另一台机器吗?这有可能吗?我尝试编辑两台计算机的 /etc/hosts 并像这样存储 IP 地址:

117.118.45.205:127.0.0.1 本地主机

先使用真实 IP 地址,然后使用“本地”IP 地址,但这样不起作用。有人有什么建议吗,或者这根本就不可能?

答案1

第一,你的编辑/etc/hosts是错误的。在第二行添加公共 IP,不要使用冒号来分隔 IP。这种语法不会被理解。

第二,(我认为)如果第二台计算机可以 ping 通第一台计算机,反之亦然,则可以将其设置为 Hadoop 集群中的节点。如果不能,则不行。跨越路由边界可能会出现问题(如果您这样做),但我没有足够的经验来确定这一点。

相关内容