我将构建计算集群(大约 64 个节点),我正在寻找一些信息。我想将它们与 Infiniband 连接起来并安装 Linux。我尝试在 Google 上搜索了一下,但找不到任何有关如何设置简单工作配置的信息。
我想用它来访问 NAS 并进行进程间通信(MPI 等)
在 Linux 上设置 Infiniband 容易吗?如何设置?或者也许有更好的解决方案?
答案1
Infiniband 本身的设置并不麻烦。您必须加载设备的驱动程序,如果您不想使用其他任何东西,那么 IP ipoib 内核模块即可。
1 IP OVER INFINIBAND 2
3 ib_ipoib 驱动程序是 IETF ipoib 工作组发布的 RFC 4391 和 4392 中规定的 IP over InfiniBand 协议的实现。它是一个“本机”实现,因为它将接口类型设置为 ARPHRD_INFINIBAND,并将硬件 7 地址长度设置为 20(早期的专有实现 8 伪装成以太网接口进入内核)。
此后,您就可以将您的设备用作普通以太网设备。
答案2
您真的需要 Inifiband 吗?还是您只是需要事物之间的高带宽链路?您最好绑定多个 1GigE 链路或使用 10GigE。
答案3
容易吗?便宜吗?不一定,但绝对可能的。由于您不打算采用预算解决方案(仅金属就需要六位数),因此您可能希望使用付费企业操作系统的支持。
答案4
Sun HPC Linux 版本是带有 Infiniband 的 Linux 集群 HPC 服务器。我不知道设置它的细节,但一些良好的性能数据即将出现。