☰

Dell PowerEdge T110 II 上的 iperf3 非对称吞吐量

tag-icon • tag-icon throughput iperf3
Dell PowerEdge T110 II 上的 iperf3 非对称吞吐量

Dell PowerEdge T110 II 服务器（使用 tg3 驱动程序的 Broadcom BCM5722、Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz、Almalinux 8.5）具有不对称的 iperf3 性能。当它是服务器时，iperf3 测试速度为 940 Mbps，但当它是客户端时，iperf3 测试速度为 740 Mbps（AlmaLinux，运行 X11）或 800 Mbps（SystemRescue，无 X11，或未运行 X11 的 AlmaLinux）。

已消除的变量：

selinux  (same speed on/off)
iptables (same speed on/off)
gso/tso  (slower when they are off, default was on)
autonegotiation (
tx-checksum-ipv4 is on
patch cables
wifi/router (same speed using a dumb 1G switch)
CPU speed (same speed with "performance" as "conservative" governors)
user vs. root (same speed, either way)
ethtool Ring parameters (were originally RX 200, TX 511, but making both
   511 did not change the speed)
/proc/sys/net/core/netdev_max_backlog (was 1000, tried 8333: no change 
  in speed)

iDrac 已配置，但网络上的 ipmi 已被禁用。

ifconfig 没有显示任何错误、丢失等。

eno1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.121  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::a598:26ae:335a:d435  prefixlen 64  scopeid 0x20<link>
        ether d0:67:e5:f3:73:8c  txqueuelen 1000  (Ethernet)
        RX packets 2496273  bytes 2558706885 (2.3 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6131153  bytes 8785383703 (8.1 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 16

我看到的唯一解决办法是关闭 X11 可以让它运行得更快一些。所以也许一些与中断相关的系统参数调整会有帮助？

答案1

我有 2 台配备 BCM5722 NIC 的 Dell PowerEdge T110 II 服务器，并且遇到了完全相同的问题。RX 速度接近全千兆位（根据 iperf3 为 940Mbps），但 TX 速度为 787Mbps。没有丢包或帧错误来解释速度损失。这些服务器还配有 RTL8168 NIC。使用 realtek NIC 并使用相同的跳线，我的上传和下载速度均为 940Mbps。

一台服务器运行 Debian 11，另一台运行 ESXi（vSphere 6.7）。Debian 和 VMware 都使用 tg3 驱动程序。Ethtool 报告两个系统都具有相同的 BCM 固件（​​固件版本：6.2.1 bc 5722-v3.11）。我在戴尔网站上找不到更新的固件。

我无法通过 ethtool 或 sysctl 调整来提高 TX 性能。

据戴尔论坛版主称，BCM5722 不支持 TOE（https://www.dell.com/community/PowerEdge-Hardware-General/Network-cards-on-Poweredge-T110-ii/mp/4398275）此处的技术规格证实了这一点：https://www1.la.dell.com/content/products/productdetails.aspx/nic_broadcom_5722。

缺少 TCP 卸载可以解释为什么 TX 速度低于 RX 速度。对我来说，NIC 一直非常稳定，对于如此老旧的芯片组来说，速度还不算太差。我认为如果不更新固件，就不可能解决这个问题。一种解决方法是使用支持 TOE 的其他 NIC（例如上面提到的 Realtek）。

相关内容