安装 Spark 集群

安装 Spark 集群

我正在按照本教程安装 spark 集群。 http://arnesund.com/2015/09/21/spark-cluster-on-openstack-with-multi-user-jupyter-notebook/

由于使用 cloud-init 时遇到了一些问题,所以我手动复制粘贴了所有命令。

我无法运行本教程中的以下命令:

下载并解压 Spark

 curl -o /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz http://$APACHE_MIRROR/spark/spark-$SPARK_VERSION/spark-$SPARK_VERSION-bin-hadoop1.tgz
 tar xvz -C /opt -f /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz
 ln -s /opt/spark-$SPARK_VERSION-bin-hadoop1/ /opt/spark
 chown -R root.root /opt/spark-$SPARK_VERSION-bin-hadoop1/*

您可以从上面提到的链接查看这些命令。

任何帮助或建议都将不胜感激。谢谢!

答案1

$SPARK_VERSION$APACHE_MIRROR环境变量因此仅复制粘贴,因为单个命令不起作用。

您上面指出的教程是关于在 OpenStack VM 上设置 Spark 集群。

首先写一个bash 脚本如教程中所示。(init-spark-master.sh)

然后只要执行就可以了。

更新 -

除非您事先设置环境变量,否则您应该执行完整的命令。

例如, curl -o /tmp/spark-apache.uib.no-bin-hadoop1.tgz http://apache.uib.no/spark/spark-1.5.0/spark-1.5.0-bin-hadoop1.tgz 可以毫无问题地运行。

相关内容