基于 Debian 的 Infiniband 点对点 Voltaire 双端口卡

Question

我有以下配置：

I------------------I                 I------------------I
I                  I(P0)---------(P0)I                  I
I  Voltaire HCA 0  I                 I  Voltaire HCA 1  I
I                  I(P1)---------(P1)I                  I
I------------------I                 I------------------I

两个 HCA 直接连接，我设法让 opensm 在一定程度上正常工作。奇怪的是，除了一个接口外，我可以 ping 通每个接口。我可以 ping 通它，但不能从它 ping 通。虽然我在 IP 网络方面有丰富的经验，但谈到 infiniband 时我有点不知所措。它的唯一功能是拥有两个 NFS 共享（每个允许 10G 带宽）。

Answer 1

如果这确实是您的配置（两个 HCA 无需交换机相互连接），那么您需要运行两个 SM - 一个用于 P0 端口，另一个用于 P1。

您不能在同一台机器上运行两个 SM 实例（好吧，您可以，但您需要添加几个命令行参数才能执行此操作），因此像往常一样在具有 HCA0 的机器上运行 SM，并在第二个端口上具有 HCA1 的机器上运行另一个 SM。

不知道您使用哪个 SM 供应商以及您的 SM 有多旧（Voltaire 四年前已被 Mellanox 收购）。

如果是OpenSM，可以运行“ opensm -g 0”，然后选择第二个端口。