infiniband
Ubuntu 20.04 LTS，netplan：为两个 InfiniBand 接口设置 LACP？
我被要求在运行 20.04 LTS 且当前配置了 netplan 的 Ubuntu 服务器上设置绑定的 InfiniBand 接口 (LACP)。我搜索过这个主题，但没有关于如何使用 netplan 进行设置的真正好的答案。它甚至受支持吗？我甚至在考虑放弃 netplan。 ...
infiniband
infiniband
如果两个容器在同一个主机上使用 InfiniBand，数据还会占用 IB 带宽吗？
我正在尝试对分布式应用程序的调度进行一些增强。我想确认在同一台主机上使用 InfiniBand 是否会占用 IB 带宽？ ...
infiniband
第 3 层软件桥接
我在 Ubuntu 18.04 中有几个以太网端口与网桥相连。是否有在第 3 层工作的等效虚拟接口？我添加了 Infiniband 卡并想将 IPoIB 流量连接到主网络。 ...
infiniband
IPoIB 与 Netem（延迟模拟）性能不佳
我必须模拟一个广域网。我的设置包含两台带有 MT27500 系列 [ConnectX-3] Infiniband 卡的服务器。两个节点之间的默认延迟约为 0.4 毫秒，iperf 测试显示每个 iperf 连接的吞吐量为 4Gbps。我能够通过使用 15 个并行 iperf 连接获得最大 33Gbps 的速度。为了模拟两个节点之间 50 毫秒的 RRT，我使用以下命令。 sudo tc qdisc add dev ib0 root netem delay 25ms 但是 iperf 的每流吞吐量下降到 154Mbps。我有另一个相同的设置，它有以太网适...
infiniband
使用 MLNX_OFED 和 Linux Kernel 4.4 的 NFSoRDMA 支持
我们正在尝试使用最新的 MLNX_OFED v4 和 SLES12 SP3 以及内核版本 4.4.73-5。MLNX OFED v4 软件包不支持 RDMA（出于某种原因，该软件包已被放弃）。我们尝试下载源软件包并构建它。安装程序脚本会检查内核版本 4.15，并针对所有其他版本禁用 nfsrdma 和 mlnx-nfsrdma。 知道 MLNX OFED v4 包中为什么会有这种变化吗？ 如何使用上述组合和 EDR 启用对 NFS over RDMA 的支持？ ...
infiniband
InfiniBand RDMA：您需要 RDMA 连接管理器吗？
通过 InfiniBand 进行 RDMA 传输时，是否需要 RDMA 连接管理器？（此外，所有带有前缀的调用是否都rdma_与 RDMA 连接管理器相关？） rdma此外，由于我无法创建或infiniband......因此没有合适的标签。 ...
infiniband
是否可以使用 Mellanox 的新固件来更新 Supermicro ConnectX-3 固件？
我有一台 Supermicro 服务器，X9DRT-HIBFF主板已安装。 它具有基于 Mellanox 的 ConnectX-3 芯片组的板载 Infiniband。 Supermicro 提供的固件版本为 2.10.0700，但遗憾的是它不支持 SR-IOV，因为它太旧了。虽然芯片组和 BIOS 确实支持这一点。 Mellanox 的较新固件启用了此功能。Mellanox 本身确实为一些 OEM 合作伙伴提供固件，但不为 Supermicro 提供。 ibv_devinfo 显示： $ sudo ibv_devinfo hca_id: mlx4...
infiniband
如何将 IP 数据包转发/路由到我的 Infiniband 网络/从我的 Infiniband 网络转发/路由
我有两个网络。 一个是运行 IP 的标准以太网网络。第二个网络是 Infiniband，除了一些自定义协议外，它还可以使用 IPoIB（Infiniband 上的 IP）。 位于该网络上的路由器可以 ping 通具有 10.10.10.x IP 地址的 Infiniband 主机，也可以 ping 通本地 xx.xxx.79.x 地址。 我遇到的问题是，尽管路由器已打开 IPv4 转发，但以太网上的机器无法 ping 或访问 infiniband 网络上的机器。 您能转发往返于 IP 和 IPoIB Infiniband 网络的数据包吗？...
infiniband
Infiniband、SRP 和故障转移
我正在考虑基于 Linux 的无限带宽存储设置，但我不知道是否可以使用 DRBD 和 SRP 目标进行主动/被动或主动/主动故障转移。 我相信 SRP 才是真正的问题所在，SCST 可能支持 SRP，但 LIO 可能不支持。网上似乎没有太多明确的信息。 如果我无法让它工作，我将回到 IPoIB 上的 iSCSI，并承受随之而来的性能和 CPU 利用率的下降。 话虽如此，有人能告诉我 SRP 是否可以处理多路径/故障转移吗？如果不能，为什么？ 谢谢！ ...
infiniband
如何让 dnsmasq 通过 IPoIB 提供 IP 地址？
我正在建立一个集群农场。 节点（场中的计算机）通过以太网和 Infiniband 上的 IP 连接。我需要对节点进行网络启动，我认为 dnsmasq 很适合，因为它提供了所有功能，包括对 IB 上的 DHCP 的支持，并且非常适合我们的以太网设置。但是，我似乎无法让它为节点上的 infiniband 适配器提供 IP 地址。 每个节点都运行 Ubuntu 桌面 12.04 LTS。dnsmasq 服务器在 ubuntu 服务器 12.04LTS 上运行，并具有以下测试配置： dhcp-authoritative domain-needed bogus-...
infiniband
3 台服务器，Infiniband，无 IB 交换机
我看了每篇与类似问题相关的帖子，但没有给我明确的答案。 我们计划的系统由三台机器组成，分别名为 n1、n2 和 n3。连接设置如下： n1 ---- n2 (sm) ---- n3 我们最初的计划是购买两张单端口 ConnectX-6 VPI 适配卡和一张双端口适配器。 对于 n1 和 n3，各有一个单适配器，而 n3 有一个双端口适配器。 但由于双模卡采购困难，我们的供应商改送了 4 张单端口卡。 目前我们在n1和n3上都安装了一块单端口卡，在n2上安装了两块单端口卡。 我们打算在 n2 上使用 OpenSM 建立与 n1 和 n3 的直接连接。但是，我们...
infiniband
Mellanox ConnectX-7 - 在 ib_write_bw 测试中，BW 平均值从 395Gb/s 降至 248Gb/s
我有两台机器通过两个 ConnectX-7 相互连接。 运行 ib_write_bw 测试时，BW 平均值从 395Gb/s 开始，这非常好。但速度下降得非常快，低于 250Gb/s。 pci 状态 测试日志 ...
infiniband
Mellanox ConnectX-7-无法获得超过 250 Gbit/s
我有几台装有 ConnectX-7 Infiniband 卡的机器，它们插入 Nvidia QM9700 交换机。我已确认两端的 NDR 均为 400 Gbit（主机上的 ibstat 和交换机上的控制台）。这些机器运行的是 Ubuntu 22.04 和 Mellanox 5.8-3.0.7.0 驱动程序。我进行了大量测试，ib_write_bw最高速度约为 251 Gbit/s。实际测试命令如下： 服务器端（host_a）： numactl -N 0 -m 0 ib_write_bw -d mlx5_4 -F --report_gbits 客户端（hos...
%20%E6%9C%8D%E5%8A%A1%E6%97%B6%E4%BB%A5%E5%A4%AA%E7%BD%91%E8%BF%9E%E6%8E%A5%E6%96%AD%E5%BC%80.png)
infiniband
重新启动 openibd (Infiniband) 服务时以太网连接断开
我有多台服务器，服务器上装有以太网控制器，并且在 PCI 插槽中安装了 InfiniBand 控制器。 问题是，当我重新启动 openibd.service（它应该只控制 infiniband 适配器）时，由于某种原因，我的以太网网络也重新启动了。 如果我停止 openibd，我的以太网也会停止。 以太网和 InfiniBand 应该彼此分离和独立。 我需要能够在不断开以太网连接的情况下停止或重新启动 openibd.service 操作系统：AlmaLinux 8.7 正在使用的以太网端口（1gb）：eno2np1 Ofed 版本：MLNX_OFED...
infiniband
HPC 节点，Infiniband 已关闭
我有一台运行 CentOS 7 的 17 个节点的 HPC 和一个专用的 Mellanox SX6036 Infiniband 交换机，每个节点都有一个 Infiniband FDR 接口。 最近，一个节点开始出现错误，快速查看后发现 ib0 IPoIB 接口已关闭。 4: ib0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 4092 qdisc pfifo_fast state DOWN mode DEFAULT group default qlen 256 link/infiniband 80:00:02...