企业级硬件上直接千兆以太网链路的 ping 延迟较高

企业级硬件上直接千兆以太网链路的 ping 延迟较高

最终编辑 7/7多次更换电缆、端口和设备后,问题缩小到了康卡斯特调制解调器及其所有 8 个以太网端口。鉴于评论中说的,这是一个封闭的设备,不太可能获得太多真实信息,我们可能永远也找不到答案,但无论如何,我还是会发布解决方案作为答案。

编辑 1/6 动机;潜在的真正问题) 根据用户对电话会议问题的投诉,我想排除所有可能的原因。在验证了从笔记本电脑到服务器的 LAN 和 WiFi 连接完美无缺后,我发现 Google Meet 服务器的端到端 ping 延迟非常不均匀——通常远高于 100 毫秒的建议限制——按照指示这里,我回溯到了延迟的根源。(这是不是当然,这一定是导致 Google Meet 延迟的根本原因,但我需要排除这个可能的原因。)

事实证明,不均匀和高延迟来自于 Sophos UTM 9 SG125(固件:9.703-3)与 Comcast CGA4341COM 千兆调制解调器(制造商:Technicolor;硬件修订版:2.3;芯片组:Broadcom)之间的直接链接。

链路两端均报告千兆连接。Speedtestspeedtest.xfinity.com给出了有线局域网服务器的 400Mbps 范围结果。(编辑 2/6 补充问题证据这看起来很棒,只是当同一台服务器直接连接到调制解调器时,完全切断路由器和 LAN 的其余部分,吞吐量为 930Mbps。)

在使用 10 英尺 Cat5e 电缆对 Sophos 上的 SSH 命令行进行长时间测试后,直接将调制解调器连接到:

—— xx.xx.xx.134 ping statistics ---
756 packets transmitted, 756 received, 0% packet loss, time 755277ms
rtt min/avg/max/mdev = 0.162/21.789/199.543/34.605 ms

长 ping 分布得相当密集:

64 bytes from xx.xx.xx.134: icmp_seq=1 ttl=64 time=58.2 ms
64 bytes from xx.xx.xx.134: icmp_seq=2 ttl=64 time=0.645 ms
64 bytes from xx.xx.xx.134: icmp_seq=3 ttl=64 time=72.4 ms

尝试了一整天,什么都没改变。调制解调器的所有额外功能都被禁用:端口转发、端口触发、防火墙、MAC 访问控制、dhcp、wifi 等。

编辑 3/6 回复:可能的流量负载考虑延迟) 这也发生在半夜,因此与流量无关。当链路利用率低于 1% 时,尽管 ping 可能不准确,但优先级不应发挥作用。

编辑 4/6 回复:ICMP 优先级可能较低)traceroute使用 UDP,显示出相同的延迟模式:

traceroute -q 10 -w 1 10.1.10.1
traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP
 1  10.1.10.1 (10.1.10.1)  71.784 ms   70.684 ms * * *   66.310 ms * * * *
traceroute -q 10 -w 1 10.1.10.1
traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP
 1  10.1.10.1 (10.1.10.1)  1.218 ms   1.151 ms * * * * * * * *
traceroute -q 10 -w 1 10.1.10.1
traceroute to 10.1.10.1 (10.1.10.1), 30 hops max, 40 byte packets using UDP
 1  10.1.10.1 (10.1.10.1)  61.156 ms * * * *   55.497 ms   54.370 ms * * *

编辑 5/6 回复:此 ISP 和调制解调器的正常行为在不同的客户站点,相同的调制解调器硬件连接到价值 65 美元的 EdgeRouter X,我从路由器上看到正常情况:

--- 10.1.10.1 ping statistics ---
60 packets transmitted, 60 received, 0% packet loss, time 59398ms
rtt min/avg/max/mdev = 0.278/1.201/2.175/0.554 ms

类似地,在第二个站点发送了 100 个 traceroute UDP 数据包之后,最慢的数据包为 3.3 毫秒。

编辑 6/6 回复:一般来说可能正常) 多年来,我与多家供应商合作使用宽带(低端和高端),从未在任何调制解调器和路由器之间看到过这种延迟模式。我没有忽视 Sophos 方面的问题;当我可以直接连接到其他设备时,我会报告。

在 Sophos 上,没有数据包错误:

router:/var/log# ifconfig eth1
eth1      Link encap:Ethernet  HWaddr 7C:xx:xx:xx:xx:94  
          inet addr:96.xx.xx.129  Bcast:96.xx.xx.135  Mask:255.255.255.248
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:300119356 errors:0 dropped:0 overruns:0 frame:0
          TX packets:243077712 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:264200277517 (251961.0 Mb)  TX bytes:197347533783 (188205.2 Mb)

在 eth0 上,Sophos 正在 ping 局域网上的服务器,典型的延迟非常稳定,为 0.1-0.2ms。

router:/# ping 192.168.1.5
PING 192.168.1.5 (192.168.1.5) 56(84) bytes of data.
64 bytes from 192.168.1.5: icmp_seq=1 ttl=128 time=0.198 ms
64 bytes from 192.168.1.5: icmp_seq=2 ttl=128 time=0.128 ms

Sophos 上根本没有任何负载(CPU 或内存或磁盘),日志中也没有任何值得注意的内容,也没有任何内容dmesg

lshw报告:

      *-network:1
            description: Ethernet interface
            product: Ethernet Connection X553 1GbE
            vendor: Intel Corporation
            physical id: 0.1
            bus info: pci@0000:0b:00.1
            logical name: eth1
            version: 11
            serial: 7c:xx:xx:xx:xx:94
            size: 1Gbit/s
            capacity: 1Gbit/s
            width: 64 bits
            clock: 33MHz
            capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt-fd 100bt-fd 1000bt-fd autonegotiation
            configuration: autonegotiation=on broadcast=yes driver=ixgbe driverversion=5.2.4 duplex=full firmware=0x80000878 ip=96.86.73.129 latency=0 link=yes multicast=yes port=twisted pair speed=1Gbit/s
            resources: irq:17 memory:dfa00000-dfbfffff memory:dfe00000-dfe03fff memory:dc500000-dc57ffff

在搜索 90 天的日志时,调制解调器几乎没有任何可报告的内容。今天,只有:

FW.WANATTACK DROP , 34 Attempts, 2020/6/16 15:58:01
Firewall Blocked

调制解调器的详细软件统计信息:

eMTA & DOCSIS Software Version: CM DOCSIS Application - Prod_18.1_d31 & MTA Application - Prod_18.1
Software Image Name: CGA4131COM_3.12p12s1_PROD_sey
Advanced Services: CGA4131COM
Packet Cable: 2.0

答案1

正如@Appleoddity 提到的,Comcast 调制解调器有缺陷。唯一的解决办法是更换它。这篇帖子链接到他们的社区委员会,帮助他们说服他们已经完成了所有功课。因此,没有异议、费用或延迟来做这件事。封闭系统抱怨。技术人员以前没有见过这个问题。

相关内容