spark_local_dirs 有多少个磁盘?

spark_local_dirs 有多少个磁盘?

我正在寻找一种解决方案来提高我的 Spark 集群性能,我已经阅读过http://spark.apache.org/docs/latest/hardware-provisioning.html

我们建议每个节点有 4-8 个磁盘

,我尝试过使用一个和两个磁盘,但我发现使用两个磁盘时执行时间加倍了。对此有什么解释吗?

这是我的配置:1 台机器,配备 140 GB RAM、2 个磁盘和 32 个 CPU(我知道这是一种不寻常的配置),并且我有一个带有 1 个 Worker 的独立 Spark 集群。

相关内容