Linux 上的 Infiniband？

Question

我将构建计算集群（大约 64 个节点），我正在寻找一些信息。我想将它们与 Infiniband 连接起来并安装 Linux。我尝试在 Google 上搜索了一下，但找不到任何有关如何设置简单工作配置的信息。

我想用它来访问 NAS 并进行进程间通信（MPI 等）

在 Linux 上设置 Infiniband 容易吗？如何设置？或者也许有更好的解决方案？

Answer 1

Infiniband 本身的设置并不麻烦。您必须加载设备的驱动程序，如果您不想使用其他任何东西，那么 IP ipoib 内核模块即可。

1 IP OVER INFINIBAND 2
3 ib_ipoib 驱动程序是 IETF ipoib 工作组发布的 RFC 4391 和 4392 中规定的 IP over InfiniBand 协议的实现。它是一个“本机”实现，因为它将接口类型设置为 ARPHRD_INFINIBAND，并将硬件 7 地址长度设置为 20（早期的专有实现 8 伪装成以太网接口进入内核）。

此后，您就可以将您的设备用作普通以太网设备。

Answer 2

您真的需要 Inifiband 吗？还是您只是需要事物之间的高带宽链路？您最好绑定多个 1GigE 链路或使用 10GigE。

Answer 3

容易吗？便宜吗？不一定，但绝对可能的。由于您不打算采用预算解决方案（仅金属就需要六位数），因此您可能希望使用付费企业操作系统的支持。

Answer 4

Sun HPC Linux 版本是带有 Infiniband 的 Linux 集群 HPC 服务器。我不知道设置它的细节，但一些良好的性能数据即将出现。