☰

无法在我的 apache spark 独立 ec2 实例上启动从属

tag-icon • tag-icon ssh
无法在我的 apache spark 独立 ec2 实例上启动从属

以下是我迄今为止完成的步骤：

  1. 下载 spark-1.4.1-bin-hadoop2.6.tgz
  2. 解压缩
  3. .spark-1.4.1-bin-hadoop2.6/sbin/start-all.sh

主服务器正在运行，但从服务器尚未启动

这是输出：

[ec2-user@ip-172-31-24-107 ~]$ sudo ./spark-1.4.1-bin-hadoop2.6/sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/ec2-user/spark-1.4.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-ip-172-31-24-107.out
localhost: Permission denied (publickey).
[ec2-user@ip-172-31-24-107 ~]$

这是安全日志

Aug  9 00:09:30 ip-172-31-24-107 sudo: ec2-user : TTY=pts/0 ; PWD=/home/ec2-user ; USER=root ; COMMAND=./spark-1.4.1-bin-hadoop2.6/sbin/start-all.sh
Aug  9 00:09:32 ip-172-31-24-107 sshd[4828]: Connection closed by 127.0.0.1 [preauth]

我相信问题出在 SSH 上，但我无法在 Google 上找到解决方案......

知道如何修复我的 SSH 问题吗？

答案1

我运行后就修复了这个问题cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，然后重新启动了 apache 集群

答案2

尝试通过以下命令运行master：

start-master.sh -h IP_OF_MASTER"

然后运行从属进程。就我而言，这很有帮助。

相关内容