☰

Dell R530 Broadcom NetXtreme tg3 nic 限制为 12 MBytes/秒

tag-icon • tag-icon networking vmware-esxi dell-poweredge dell
Dell R530 Broadcom NetXtreme tg3 nic 限制为 12 MBytes/秒

我有一台较旧的戴尔 R530：

Manufacturer    Dell Inc.
Model   PowerEdge R530
CPU 16 CPUs x Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz
Memory  63.78 GB

它有 8 个 NIC，其中 3 个是 tg3，Broadcom NetXtreme BCM5720：

vmnic0  0000:02:00.0  tg3     Up            Up            1000  Full    14:18:77:5e:a6:de  1500  Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic2  0000:03:00.0  tg3     Up            Up            1000  Full    14:18:77:5e:a6:e0  1500  Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic3  0000:03:00.1  tg3     Up            Down             0  Half    14:18:77:5e:a6:e1  1500  Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet

就我而言，我无法让它们以高于~12MBytes/秒的速率发送流量：

-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.1.117, port 50971
[  5] local 192.168.1.148 port 5201 connected to 192.168.1.117 port 50972
[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-1.00   sec  11.2 MBytes  93.6 Mbits/sec
[  5]   1.00-2.00   sec  11.2 MBytes  93.9 Mbits/sec
[  5]   2.00-3.00   sec  11.2 MBytes  93.9 Mbits/sec
[  5]   3.00-4.00   sec  11.2 MBytes  94.1 Mbits/sec
[  5]   4.00-5.00   sec  11.2 MBytes  94.0 Mbits/sec
[  5]   5.00-6.00   sec  11.2 MBytes  94.0 Mbits/sec
[  5]   6.00-7.00   sec  11.2 MBytes  94.1 Mbits/sec
[  5]   7.00-8.00   sec  11.2 MBytes  94.1 Mbits/sec
[  5]   8.00-9.00   sec  11.2 MBytes  94.1 Mbits/sec
[  5]   9.00-10.00  sec  11.2 MBytes  94.1 Mbits/sec
[  5]  10.00-10.05  sec   573 KBytes  93.9 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-10.05  sec  0.00 Bytes  0.00 bits/sec                  sender
[  5]   0.00-10.05  sec   113 MBytes  94.0 Mbits/sec                  receiver

只是为了证明这不是网络问题，其他服务器获得了预期的性能：

[  6] local 192.168.1.117 port 50998 connected to 192.168.1.242 port 5201
[ ID] Interval           Transfer     Bandwidth
[  6]   0.00-1.00   sec  75.9 MBytes   637 Mbits/sec
[  6]   1.00-2.00   sec   113 MBytes   944 Mbits/sec
[  6]   2.00-3.00   sec   113 MBytes   944 Mbits/sec
[  6]   3.00-4.00   sec   112 MBytes   935 Mbits/sec
[  6]   4.00-5.00   sec   113 MBytes   946 Mbits/sec
[  6]   5.00-6.00   sec   112 MBytes   939 Mbits/sec
[  6]   6.00-7.00   sec   110 MBytes   922 Mbits/sec
[  6]   7.00-8.00   sec   109 MBytes   918 Mbits/sec
[  6]   8.00-9.00   sec   102 MBytes   856 Mbits/sec
[  6]   9.00-10.00  sec   102 MBytes   854 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  6]   0.00-10.00  sec  1.04 GBytes   890 Mbits/sec                  sender
[  6]   0.00-10.00  sec  1.04 GBytes   889 Mbits/sec                  receiver

我已经尽可能地更新了固件/驱动程序。根据https://www.broadcom.com/products/ethernet-connectivity/network-ics/bcm5720-1gbase-t-ic看起来最新的固件是 3.137，我已经安装：

[root@esxi:~] esxcli network nic get -n vmnic0
   Advertised Auto Negotiation: true
   Advertised Link Modes: 10baseT/Half, 10baseT/Full, 100baseT/Half, 100baseT/Full, 1000baseT/Half, 1000baseT/Full
   Auto Negotiation: true
   Cable Type: Twisted Pair
   Current Message Level: 4260095
   Driver Info:
         Bus Info: 0000:02:00.0
         Driver: tg3
         Firmware Version: FFV7.10.64 bc 5720-v1.36
         Version: 3.137l.v60.1
   Link Detected: true
   Link Status: Up
   Name: vmnic0
   PHYAddress: 1
   Pause Autonegotiate: true
   Pause RX: true
   Pause TX: true
   Supported Ports: TP
   Supports Auto Negotiation: true
   Supports Pause: true
   Supports Wakeon: true
   Transceiver: internal
   Virtual Address: 00:00...[snip]
   Wakeon: MagicPacket(tm)

所有的诊断/状态报告都表明它以 1000 满速连接，并且我尝试了多个 NIC、电缆和交换机，结果都相同。

我花了小时试图弄清楚这一点，但所有的谷歌搜索和测试都无济于事。有人知道我还可以尝试或检查什么吗？

我也尝试过手动设置链接速度，但它已经自动协商为 1000。

vmnic0 1000Mbps 自动协商

答案1

如果所有物理链路都显示 1000 Mbit/s，那么剩下的就只有：

  • VMkernel 适配器（？）所连接的 ESXi 端口组设置了流量限制
  • 流量经过的交换机设置了某种 QoS 限制/流量监管

顺便说一下，广告NIC/交换机端口的模式无关紧要。协商的模式确实如此。

此外，Broadcom NIC 通常支持“以太网@Wirespeed”，当电缆中的一条双绞线发生故障时，1000BASE-T NIC 会降级为 100BASE-FX（在这种情况下，标准 1000BASE-T 根本无法连接）。因此，即使所有配置都正确，损坏的电缆也可能会让您回到 100 Mbit/s。

答案2

原来是电缆问题。应该提醒我的是限制94.9 Mbits/sec——显然连接正在运行100Mbps。它设置为1G并且一切都表明它是1G，这应该提醒我线路中有些东西搞砸了，导致它以 运行100Mbps。我今天让数据中心切换了线路，它以 1G 的速度运行，这是应该的。

我说机架中还有其他设备以 1G 的速度运行，这是错误的。我在机架中安装了一台新交换机，当我查看接口时，我注意到端口只报告100Mbps。看到这个后，我仔细检查了一下，机架中的 NAS 设备确实只能以 <= 的速度复制大文件100Mbps。

抱歉，问题中的信息有误导性。我保留它，以防某个可怜的人在某个地方遇到同样的问题：如果您持续看到 11.3MB/秒或 11.2MB/秒或 94.9Mb/秒，请仔细检查您的端口是否真的以 100Mbps 运行，即使所有信息都显示是！直到安装智能交换机/路由器时，我才发现它，它报告的是实际数字，而不是某些配置或自动协商的数字。

相关内容