☰

在 RHEL 7 中配置 IP over infiband (IPoIB)，scp 速度

tag-icon • tag-icon linux infiniband
在 RHEL 7 中配置 IP over infiband (IPoIB)，scp 速度

我正在给自己上一门有关 RHEL 7.9 中 infiniband 的速成课程。我的服务器均安装了 HDR ConnectX-6 卡；这是在我的实验室中，位于一个简单的 LAN 上，其中每台服务器都连接到 Q8700 mlnx转变对于初学者来说，我们只需要 infiniband 上的基本网络功能，这样我们就可以ssh在scp服务器之间创建基本的 nfs 安装。

  • 我有 5 台服务器，命名 c1为c5
  • 每个都运行 RHEL 7.9 x86-64
  • 我mlnxofedinstall从头到尾MLNX_OFED_LINUX-5.2-1.0.4.0-rhel7.9-x86_64.iso都做了
  • 我systemctl enable openibd对每个都进行了操作，然后重新启动
  • 之后我手动/etc/init.d/opensmd start但仅在c1
  • 使用 RHEL 7 中的 NetworkManager gui，我将ib0接口配置为
    • c1..c5 分别为 192.168.2.1 至 192.168.2.5
    • 每个未指定网关的子网掩码均为 255.255.255.0。
    • 如果我ip ib0这样做，报告链接速度为 100000
  • 这就是全部内容还是我错过了一大堆其他东西？
  • 在scp我的 1gbps 铜缆网络上，我总是看到稳定的 112MB/秒；我的计算结果是 1000 mbps / 8 = 125 MBps，那么效率为 89.6% 时为 112 MBps。如果我假设 HDR infiniband 数据报 IPoIB 的速度为 100000 mb/s，速度快 100 倍，那么我应该看到 11200 MB/秒？
    • 我目前的速度为 262 MB/秒（scp'ing 30gb tar 文件），仅完成了上面提到的操作。如果可以的话我应该好转多少？

答案1

确保 ib_ipoib 模块已加载：

 lsmod | grep ipoib
ib_ipoib              124872  0
ib_cm                  53085  2 rdma_cm,ib_ipoib
ib_core               357959  8 rdma_cm,ib_cm,iw_cm,mlx5_ib,ib_umad,ib_uverbs,rdma_ucm,ib_ipoib
mlx_compat             55063  13 qedr,rdma_cm,ib_cm,iw_cm,auxiliary,mlx4_ib,mlx5_ib,ib_core,ib_umad,ib_uverbs,mlx5_core,rdma_ucm,ib_ipoib

如果不是，您可以通过加载它

modprobe ib_ipoib

答案2

不，此测试不会使用您的可用带宽，因为瓶颈是您的 CPU。

SSH 和 scp 无法使用多个 vCPU。

答案3

scp 很棒，但是 CPU 开销太大了！设置一个简单的 ftp 并进行相同的测试...您应该会看到速度的显着提高。除非您的客户端或主机系统上存在其他 I/O 瓶颈。

我通常建议使用供应商的官方驱动程序，即使它们是闭源的，而不是开源的第 3 方驱动程序。它们可以对您的系统性能产生巨大的影响。

然而 PCI 总线的速度仍然有限​​。 PCI-X 有一些不同的功能和限制。阅读该死的手册并确保您的系统和网络适配器配置正确！

做好一切，明智地规划您的系统配置，Infiniband 将像一道闪电冲向天空！

相关内容