☰

在虚拟框中运行 apache spark

tag-icon • tag-icon virtualbox
在虚拟框中运行 apache spark

我尝试在虚拟机箱（ubuntu）中运行 apache spark master 和 worker，并从我的应用程序连接到它，但不幸的是，我不断收到：

akka.remote.EndpointAssociationException: Association failed

我配置了从虚拟机到主机的端口重定向7077，6066并且8080我可以从我的主机 Windows 机器 telnet 到127.0.0.1 7077并建立连接。

我使用以下命令运行 spark master 和 spark worker：

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1

bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1

在 Web UI 中我看到Spark Master at spark://127.0.0.1:7077

有什么想法吗？谢谢。

答案1

要连接到 Spark Master，您需要在 VM 上定义 Bridge 连接。现在您的连接是 NAT，这就是您无法连接的原因。https://www.virtualbox.org/manual/ch06.html#network_bridged

在桥接模式下一切正常）

相关内容