高性能 Hadoop 的最佳 BIOS CPU 电源配置?

高性能 Hadoop 的最佳 BIOS CPU 电源配置?

我正在设置 Hadoop 集群,到目前为止还无法找到有关如何在 Linux 的 BIOS 中配置 CPU 功率的好答案。

我的 BIOS 提供了多种有关 CPU 功率的选项,主要类别是:

  • 禁用
  • 高效节能
  • 风俗
  • 最高性能

还有许多其他设置(长持续时间功率限制、短持续时间等),但我们只讨论大致的思路和最佳实践。

我的冲动是要么完全禁用电源管理,要么启用最大性能 - 但当然,这样做的缺点是当我不使用它们时要付出瓦数。

此时 Linux CPU 电源管理是否足够好,以至于地球和数据中心冷却/电源友好的 BIOS 仍能让我从 Hadoop 集群中获得最大潜力?

或者我应该像老派那样玩并禁用电源管理?

答案1

我无法给出这个问题的权威答案(也无法给出专门关于 Hadoop 的答案),但我会给你我认为的最佳实践。

我不得不说,这个问题似乎更多是针对硬件的,而不是针对 Hadoop 的。

坦率地说,如果你的负载会波动,我会禁用 BIOS 电源管理,并将其设置为始终保持在库存时钟,依靠 Linux 的cpupowerCPU 频率缩放来减少功耗(但仅限于不在负载下)。然后我将 cpupower 调节器设置为“ondemand”。这意味着它会在需要时扩展到常规库存时钟,但会在不负载时降低 CPU 频率(从而降低功耗)。

这是因为 cpupower 作为内核集成的软件实用程序,可以比 BIOS 缩放做出更好的决策,因为它可以访问更多信息流。固件只能读取硬件级别发生的情况,而 cpupower 除了从内核读取信息之外,还可以从所述固件轮询信息。

相关内容