我有一台 Supermicro 服务器，X9DRT-HIBFF主板已安装。 它具有基于 Mellanox 的 ConnectX-3 芯片组的板载 Infiniband。 Supermicro 提供的固件版本为 2.10.0700，但遗憾的是它不支持 SR-IOV，因为它太旧了。虽然芯片组和 BIOS 确实支持这一点。 Mellanox 的较新固件启用了此功能。Mellanox 本身确实为一些 OEM 合作伙伴提供固件，但不为 Supermicro 提供。 ibv_devinfo 显示： $ sudo ibv_devinfo hca_id: mlx4...
我最近买了一张二手 Mellanox ConnectX-3 卡，用于实验室设置。活动 LED 附近似乎有一个内部连接器，我认为可能是用于将它们连接到前面板。对吗？这是一张 Mellanox × HP 卡，因此可能是 HP 特有的东西。我在 HPE 网站上找到了 790314-001 双 SFP+ 卡的数据表毫无用处。 无论如何，它是用于面板 LED 的吗？如果不是，它是用来做什么的？我可以搜索什么来获得匹配的部件？ ...
我有两台机器通过两个 ConnectX-7 相互连接。 运行 ib_write_bw 测试时，BW 平均值从 395Gb/s 开始，这非常好。但速度下降得非常快，低于 250Gb/s。 pci 状态 测试日志 ...
由于我没有支持 ROCE v2 的交换机，并且我计划从两个不同的服务器系统连接两个 MCX623106AN-CDAT 100GbE NIC 卡，我计划使用的操作系统是 Windows Server 2022，所以，我想了解是否可以通过两个 NIC 卡之间的直接连接来运行无需交换机的 ROCE v2 功能？ 顺便问一下，是否有任何指导可以供我参考，以便在没有交换机的情况下在两个 MCX623106AN-CDAT NIC 卡上配置 ROCE v2？ 谢谢！Jacky ...
%20%E9%93%BE%E8%B7%AF%E6%96%AD%E5%BC%80%EF%BC%8C%E4%BD%86%E6%8C%87%E7%A4%BA%E7%81%AF%E9%97%AA%E7%83%81.png)
我有一个运行 TrueNas Scale 的系统。出于某些奇怪的原因，系统看不到链接已启动，即使 dmesg 报告链接已启动并且端口上的灯正在闪烁。我不确定这是否是光纤的兼容性，因为我使用的是 Ericson 的光纤（Juniper 可识别）。同样奇怪的是广告宣传的自动协商已关闭。以下是我用来排除故障的一些命令。我还尝试了 NIC 上的两个端口。 这是 dmesg admin@truenas[~]$ sudo dmesg | grep mlx [ 1.865599] mlx4_core: Mellanox ConnectX core drive...
我正在关注Proxmox 指南为我的 NIC 启用 PCIe 直通和 SR-IOV，因为我在 VM 中将 Vyos 作为路由器运行。但是，撤消所有更改后，NIC 不再工作。直接连接另一台计算机时，似乎唯一起作用的是 DHCP（而不是 DHCPv6）。我怀疑这可能是因为我设置了 DHCP 中继，因为我连接到的端口具有与 DHCP 服务器（12）不同的 VLAN（10）。以下是来自的输出tcpdump -e： 98:03:9b:b7:f7:ea > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 3...
我使用的是 Mellanox ConnectX-5 100 GB NIC、Linux 内核 5.15，我的服务器有 32 个核心（禁用 SMT）。但在 /sys/net//queues 中，rx 队列的数量为 64，这是我的服务器核心数量的两倍？如何修复它 ...
我们在服务器上使用 ConnectX-5 100GbE 以太网卡，这些卡通过 Mellanox 交换机相互连接。我们在 Kubernetes 集群上使用 weavenet cni 插件。当我们使用防火墙工具使用以下命令我们获得主机中的 100Gbps 连接速度。 # server host host1 $ iperf -s -P8 # client host host2 $ iperf -c <host_ip> -P8 Result: 98.8 Gbps transfer speed 另外，当我们在同一主机上使用两个 docker 容器用相同的...
和： 我正在使用 G8316 作为带有ptp transparent enableMellanox 354 适配器的交换机。 使用 LACP 绑定和中继的端口。 第一：服务器Aptp4l -m -l 7 -i xxxx -i xxxx -S 我可以在 ServerB 上捕获 ServerA 的广播包，并且 G8316 交换机上的 ptp 计数器显示非零。这意味着 ptp 包已发送，这很好。 然后：服务器 Bptp4l -m -l 7 -i xxxx -i xxxx -S -s 服务器 B 无法找到服务器 A，并使用本地时钟作为最佳主时钟 问题： 为什么服务...
我有一台 Mellanox 100gb/s 交换机（运行 Cumulus Linux 4.1），用于连接多台服务器，每台服务器都配有 Mellanox ConnectX 5 100gb/s 卡。这些服务器通过 DAC 电缆连接到交换机。在交换机工作时，我只能获得 25Gb/s 的端口速度。 我检查了交换机，发现每个 QSFP 交换机端口似乎都在运行 4 个单独的 25Gb/s 端口，如下表所示。服务器连接到端口 swp1 至 8。 cumulus@cumulus:mgmt:~$ net show interface all State Name S...
团队， 我在 k8s 工作节点上安装了 Mellanox Nic ConnectX-4，并在其上托管了一个 nodeLocal dns pod。nodeLocalDns pod 在尝试连接到 k8s 集群上的 coreDns 服务时超时。 在 Ubuntu18 上同样有效。 版本失败 k8s v1.13.5 Baremetal Ubuntu 20.04.4 LTS kernel 5.4.0-100-generic docker://19.3.13 下面效果很好。 k8s v1.13.5 Baremetal Ubuntu 18.04.2 LT...
我有一台装有 centos 7.9 的 amd 服务器，我正在尝试使用 2 张卡的内核驱动程序： 以太网控制器 X710，适用于 10GbE SFP+ 1572 --> i40e MT27800 系列 [ConnectX-5] 1017' --> mlx5_core 对于 mellanox 我使用： /usr/lib/modules/3.10.0-1160.53.1.el7.x86_64/weak-updates/mlnx-ofa_kernel/drivers/base/auxiliary.ko /usr/lib/modules/3.10....
编辑：在 CentOS 8.5 上，尝试使用 Mellanox 驱动程序 4.9-4.1.7.0（旧版）和 5.5-1.0.3.2： 我无法使我的 Infiniband 适配器工作。输出ibstat表明它已关闭： CA‘mlx5_0’ CA 类型: MT4123 端口数： 1 固件版本：20.31.1014 硬件版本：0 节点 GUID：0xb8cef60300a7fbbc 系统映像 GUID：0xb8cef60300a7fbbc 端口 1...
我正在尝试使用以下方法连接 3 个 HP z840 工作站： Mellanox ConnectX-3 VPI 40 / 56GbE 双端口 QSFP 适配器 MCX354A-FCBT Mellanox SX6005 12 端口无阻塞非托管 56Gb/s 要连接的机器描述：oak-rd0-linux（我将从中运行程序并且 opensm 正在运行的主节点）oak-rd1-linux oak-rd2-linux 我已经在卡上安装了最新的 fw，并安装了支持我的卡的最新 mlnx ofed 驱动程序（MLNX_OFED_LINUX-4.9-4.1.7.0-ubunt...
我有 10 台服务器，每台服务器有两个 CPU，每个 CPU 有一个 Mellanox 100G Infiniband NIC。每个 NIC 都连接到单个 Mellanox 36 端口 100G IB 交换机。 我的 RDMA 应用程序在每个 NUMA 节点上作为一个进程运行，并绑定到本地 NIC 以避免跨 CPU 流量。每个节点/进程都需要使用 RC 模式连接到其他每个节点。 我遇到的问题是，默认的 OpenSM 路由似乎迫使我使用某个 NIC 来到达某个目标节点。因此，我必须使用两个 NUMA 节点的两个 NIC 来到达所有其他节点。这意味着我还需要两个...