多插槽服务器中应使用多少个 Infiniband 适配器?

多插槽服务器中应使用多少个 Infiniband 适配器?

双插槽主板是否应为每个 CPU 配备一个无限带宽适配器?也就是说,是否应有两个无限带宽适配器,每个 CPU 的 PCIe 插槽中各一个。

这会消除通过 QPI 的信号吗?或者信号通过 QPI 的时间可以忽略不计(因此可以使用一个适配器)?

答案1

这将是最佳配置,但它还取决于使用 Infiniband 连接的应用程序,并且您必须注意这些应用程序及其进程与 Infiniband 适配器绑定到相同的 CPU 和内存区域。这可能有点棘手。

例如,当运行利用一台服务器的所有 CPU 和核心的 MPI 应用程序时,您很可能无论如何都会有 QPI 通信,我怀疑第二张 Infiniband 卡是否会真正加快这种情况下的速度。我也不确定在这种情况下 MPI 堆栈是否可以在两个 Infiniband 适配器上实现负载平衡。

我认为这种配置真正能带来好处的地方是存储服务器,数据通过 Infiniband 传输,需要发送到 RAID 或 SAS 适配器。在这种情况下,我可以想象,当所有数据流量不必跨越 CPU 和内存边界时,性能会更加稳定。

相关内容