☰

IPoIB (IP over InfiniBand) 与 RDMA 性能

tag-icon • tag-icon debian performance ip drbd infiniband
IPoIB (IP over InfiniBand) 与 RDMA 性能

我部分继承了一个 Linux HA 集群，该集群的中心目前通过 IPoIB（InfiniBand 上的 IP）为两个 Debian 主机之间的 DRBD 8 提供连接。它没有损坏，所以我不会修复它。

我还注意到 DRBD 9 支持 RDMA，因此将来可能会出现是否通过 RDMA（即“原生”InfiniBand）替换与 DRBD 9 的连接的问题。

由于我不想在生产系统上运行性能测试，我想知道：是否有已发布的 IPoIB 与 RDMA/InfiniBand 性能比较。例如，我是否可以预期从 IPoIB 切换后带宽/延迟增益在 10%、50% 或 100% 的数量级上？可以预期什么？

答案1

您看过这些演示吗？ https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand 只是一种提供 RDMA 的特定网络架构，但您的性能将取决于您正在运行的应用程序类型。我的经验基于主要使用基于 MPI 的应用程序的学术/研究系统。在某些情况下，我看到 RDMA 的性能比 IPoIB 高 20%。但我不知道有任何这样的基准测试，但有很多学术论文和供应商白皮书。如果您只考虑 I/O，那么请考虑：文件大小、读取次数与写入次数。RDMA 通常为随机小读取提供巨大好处，但对写入仅提供很小的好处。您可能需要阅读 RoCE（融合以太网上的 RDMA）和 InfiniBand 本机 RDMA。

相关内容