☰

Mellanox 和 Infiniband 延迟

tag-icon • tag-icon infiniband
Mellanox 和 Infiniband 延迟

我有两台配备 Voltaire HCA500Ex-D（MT25408 ConnectX Mellanox）10Gbit 卡的主机，通过 CX4 3m 电缆连接到 Cisco SFS7000d IB 交换机。

我真正担心的延迟比使用相同主机的 1Gbit 以太网连接的延迟更高。

[root@localhost ~]# ibping -G 0x0008f104039a5589
来自 host-a 的 Pong。(无) (Lid 3)：时间 0.238 毫秒
来自 host-a 的 Pong。(无) (Lid 3)：时间 0.291 毫秒
来自 host-a 的 Pong。(无) (Lid 3)：时间 0.320 毫秒
来自 host-a 的 Pong。(无) (Lid 3)：时间 0.290 毫秒
来自 host-a 的 Pong。(无) (Lid 3)：时间 0.335 毫秒
来自 host-a 的 Pong。(无) (Lid 3)：时间 0.281 毫秒

大多数人使用相同的 IB 卡可获得 0.040ms - 0.050ms 的时间。

Cisco IB 交换机和卡正在运行最新固件。

我尝试过将两台主机背对背连接起来，省去了交换机，但延迟仍然有 0.200ms+

有任何想法吗？

答案1

下载并安装最新版本的开放结构企业分布 (OFED)将使您可以使用各种工具，包括ibdiagnet以及其他几种 IB 性能测试和调优工具。除了这些工具之外，它还为您提供安装和配置 openibd 和 OpenSM 以及开源子网管理器的选项。

根据文献，

思科 SFS7000d IB 交换机

您提到的正在运行自己的板载 IB 子网管理器。

  1. 禁用交换机上的子网管理器并在其中一台服务器上配置 OpenSM

  2. 验证交换机上的子网管理器配置是否适合您的网络

除了采取这些步骤之外，还有许多其他测试可以有效地测量无限带宽的延迟和带宽。使用消息传递接口 (MPI) 实现（OpenMPI 或专有版本）乒乓基准测试。下面是一个很好的例子使用 OpenMPI over IB 设置和配置 MPI 乒乓测试。

答案2

有时高于预期的延迟取决于不良的省电行为。

尝试禁用两个主机的 BIOS 和卡驱动程序中的任何电源管理选项，然后使用直接服务器连接重复 ping 测试。

它改变了什么吗？

相关内容