![spark_local_dirs 有多少个磁盘?](https://linux22.com/image/681059/spark_local_dirs%20%E6%9C%89%E5%A4%9A%E5%B0%91%E4%B8%AA%E7%A3%81%E7%9B%98%EF%BC%9F.png)
我正在寻找一种解决方案来提高我的 Spark 集群性能,我已经阅读过http://spark.apache.org/docs/latest/hardware-provisioning.html:
我们建议每个节点有 4-8 个磁盘
,我尝试过使用一个和两个磁盘,但我发现使用两个磁盘时执行时间加倍了。对此有什么解释吗?
这是我的配置:1 台机器,配备 140 GB RAM、2 个磁盘和 32 个 CPU(我知道这是一种不寻常的配置),并且我有一个带有 1 个 Worker 的独立 Spark 集群。