☰

spark.dynamicAllocation + 根据 ambari 集群设置 spark 参数

tag-icon • tag-icon hadoop big-data apache-spark
spark.dynamicAllocation + 根据 ambari 集群设置 spark 参数

我们希望根据数据节点机器上的内存、数据节点机器上的 CPU CORE、数据节点机器的数量等输入来找到以下 spark 参数的值，

spark.dynamicAllocation.initialExecutors = ?
spark.dynamicAllocation.minExecutors = ?
spark.dynamicAllocation.maxExecutors = ?

我想我们无法给出准确的值，所以找到这个参数的范围会有所帮助

例如

我们有 ambari 集群

3台主机

21台工作机（每台工作机有32G内存和16个CPU CORE）

3台kafka机器

请帮我计算参数的值（我很乐意得到每个参数的值的范围，因为我知道我们永远不会完全关闭该值）

我只是在这里发表我的意见（基于网站 -https://community.microstrategy.com/s/article/Best-Practices-for-Spark-Thrift-Server-on-YARN

我们可以将两个参数都设置为 21（作为工作机器的数量）吗？可以吗？

spark.dynamicAllocation.initialExecutors = 21
spark.dynamicAllocation.minExecutors = 21
spark.dynamicAllocation.maxExecutors = 21

相关内容