我正在寻找一种解决方案来提高我的 Spark 集群性能,我已经阅读过http://spark.apache.org/docs/latest/hardware-provisioning.html:
我们建议每个节点有 4-8 个磁盘
,我尝试过使用一个和两个磁盘,但我发现使用两个磁盘时执行时间加倍了。对此有什么解释吗?
这是我的配置:1 台机器,配备 140 GB RAM、2 个磁盘和 32 个 CPU(我知道这是一种不寻常的配置),并且我有一个带有 1 个 Worker 的独立 Spark 集群。