☰

Ambari 和 Spark 无法从 CLI 启动

tag-icon • tag-icon hadoop
Ambari 和 Spark 无法从 CLI 启动

从 Ambari GUI 中我们无法启动 Spark 服务。所以我们想通过命令行启动它，如下所示：

[spark@mas01 spark2]$ ./sbin/start-thriftserver.sh --master yarn-client --executor-memory 512m --hiveconf hive.server2.thrift.port=10015
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out

但从日志中我们得到错误：

警告：Masteryarn-client 从 2.0 开始已被弃用。请改用具有指定部署模式的主“yarn”。

请指教语法有什么问题？

[spark@mas01 spark2]$ more /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out
Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/2.6.0.3-8/spark2/conf/:/usr/hdp/2.6.0.3-8/spark2/jars/*:/usr/hdp/current/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --master yarn-client --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-memory 512m spark-internal -- hiveconf hive.server2.thrift.port=10015
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.

答案1

在 Spark 2.0.0 之前，可以使用yarn-clientor yarn-cluster，但现在已弃用。当您使用已弃用的主 URL 时，您将收到上述警告。

现在唯一正确的主 URL 是yarn，例如./bin/spark-submit --master yarn ...。然后，您可以--deploy-mode在 Spark client（默认）或 Sparkcluster模式之间进行选择。

相关内容