![IPoIB (IP over InfiniBand) 与 RDMA 性能](https://linux22.com/image/711267/IPoIB%20(IP%20over%20InfiniBand)%20%E4%B8%8E%20RDMA%20%E6%80%A7%E8%83%BD.png)
我部分继承了一个 Linux HA 集群,该集群的中心目前通过 IPoIB(InfiniBand 上的 IP)为两个 Debian 主机之间的 DRBD 8 提供连接。它没有损坏,所以我不会修复它。
我还注意到 DRBD 9 支持 RDMA,因此将来可能会出现是否通过 RDMA(即“原生”InfiniBand)替换与 DRBD 9 的连接的问题。
由于我不想在生产系统上运行性能测试,我想知道:是否有已发布的 IPoIB 与 RDMA/InfiniBand 性能比较。例如,我是否可以预期从 IPoIB 切换后带宽/延迟增益在 10%、50% 或 100% 的数量级上?可以预期什么?
答案1
您看过这些演示吗? https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf
InfiniBand 只是一种提供 RDMA 的特定网络架构,但您的性能将取决于您正在运行的应用程序类型。我的经验基于主要使用基于 MPI 的应用程序的学术/研究系统。在某些情况下,我看到 RDMA 的性能比 IPoIB 高 20%。但我不知道有任何这样的基准测试,但有很多学术论文和供应商白皮书。如果您只考虑 I/O,那么请考虑:文件大小、读取次数与写入次数。RDMA 通常为随机小读取提供巨大好处,但对写入仅提供很小的好处。您可能需要阅读 RoCE(融合以太网上的 RDMA)和 InfiniBand 本机 RDMA。