我正在按照本教程安装 spark 集群。 http://arnesund.com/2015/09/21/spark-cluster-on-openstack-with-multi-user-jupyter-notebook/
由于使用 cloud-init 时遇到了一些问题,所以我手动复制粘贴了所有命令。
我无法运行本教程中的以下命令:
下载并解压 Spark
curl -o /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz http://$APACHE_MIRROR/spark/spark-$SPARK_VERSION/spark-$SPARK_VERSION-bin-hadoop1.tgz
tar xvz -C /opt -f /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz
ln -s /opt/spark-$SPARK_VERSION-bin-hadoop1/ /opt/spark
chown -R root.root /opt/spark-$SPARK_VERSION-bin-hadoop1/*
您可以从上面提到的链接查看这些命令。
任何帮助或建议都将不胜感激。谢谢!
答案1
$SPARK_VERSION
,$APACHE_MIRROR
是环境变量因此仅复制粘贴,因为单个命令不起作用。
您上面指出的教程是关于在 OpenStack VM 上设置 Spark 集群。
首先写一个bash 脚本如教程中所示。(init-spark-master.sh)
然后只要执行就可以了。
更新 -
除非您事先设置环境变量,否则您应该执行完整的命令。
例如,
curl -o /tmp/spark-apache.uib.no-bin-hadoop1.tgz http://apache.uib.no/spark/spark-1.5.0/spark-1.5.0-bin-hadoop1.tgz
可以毫无问题地运行。