我正在开发一个构建 CPU 集群的项目，这些服务器和 NFS 存储（不是并行文件系统）将通过 HDR InfiniBand 电缆连接。在这个架构下，我能否通过InfiniBand网络获得合适的存储I/O性能，NFS是否支持InfiniBand通信？或者我应该构建一个 200G 以太网（不是 IB 网络）结构来写入和读取存储？如果可以的话，我需要配置什么东西吗？
答案1
对于 1gbps，这样 1000 / 8 = 125 MB/秒最大吞吐量，并且我通过scp （大约 10% 的开销命中）观察到 112 MB/秒，您是否期望看到从 1gbps 到 100gbps HDR infiniband 的 100 倍，即 12500 MB /s 复制速度，没有。我见过的最快速度是 1.0 GB/s，而scp不是 12.5 GB/s。我相信还有其他限制因素阻止最大限度以这种方式的吞吐量。不过，我可以同时进行多个副本，并且不会像传统的 1gbps 交换机那样出现速度下降。
在 RHEL 7.9 中，我的经验是 NFS 和 RDMA 并不像 RHEL 8.8（或更高版本？）那样精致和强大。rsync -P我观察到的 NFS 上最快的单个文件复制速度是 490 MB/s，使用 NFSvers=4.2和proto=rdma.通常，导出使用的传输速度比我在 1 gbps 传统网络上看到的async传输速度更快，但超过 100gbs HDR 我发现同步或异步之间没有区别。sync我怀疑速度会变得更加明显，因为许多节点都在积极通信，而在我的单文件复制测试用例中只有 2 个节点。