环境:
- 多个 PROXMOX 5(KVM)服务器(内核:4.15.18-30-pve)
- 运行 Debian 9、10 和 11 的虚拟机(vitrio /qemu-guest-agent 为相应 Debian 版本的当前版本)
- 通过 virtio_net 内核模块连接的网卡
- 通过 Linux 桥连接的虚拟机
- 1Gbit 网络交换机
问题
- 虚拟机的传输速度大多仅为 5 Mbit/s
- 有时可以达到约 950Mbit/s 的完整传输速率,但反向测试时通常(并非总是)只有 5 Mbit/s
- 同一主机上的虚拟机之间的传输速率约为 20Gbit/s(旧服务器)
测试
- 测试通过 iperf3 完成
- KVM 主机之间的传输速率正常,双向约为 950Mbit/s
- 我在主机之间来回移动虚拟机,但没有发现问题的规律。
- 测试是在不同的虚拟机上进行的(Debian 9-11)
测试虚拟机到虚拟机的两个方向(perf3)
root@@HOST1:~# iperf3 -c @HOST2
Connecting to host @HOST2, port 5201
[ 5] local 192.168.40.121 port 59440 connected to 192.168.40.52 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 109 MBytes 918 Mbits/sec 22 352 KBytes
[ 5] 1.00-2.00 sec 107 MBytes 900 Mbits/sec 16 253 KBytes
[ 5] 2.00-3.00 sec 107 MBytes 898 Mbits/sec 2 390 KBytes
[ 5] 3.00-4.00 sec 108 MBytes 910 Mbits/sec 7 423 KBytes
[ 5] 4.00-5.00 sec 109 MBytes 913 Mbits/sec 3 419 KBytes
[ 5] 5.00-6.00 sec 93.3 MBytes 783 Mbits/sec 19 165 KBytes
[ 5] 6.00-7.00 sec 92.3 MBytes 775 Mbits/sec 3 375 KBytes
[ 5] 7.00-8.00 sec 107 MBytes 895 Mbits/sec 27 358 KBytes
[ 5] 8.00-9.00 sec 110 MBytes 920 Mbits/sec 9 322 KBytes
[ 5] 9.00-10.00 sec 109 MBytes 914 Mbits/sec 17 327 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 1.03 GBytes 883 Mbits/sec 125 sender
[ 5] 0.00-10.04 sec 1.02 GBytes 876 Mbits/sec receiver
iperf Done.
root@@HOST1:~# iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.40.52, port 35006
[ 5] local 192.168.40.121 port 5201 connected to 192.168.40.52 port 35008
[ ID] Interval Transfer Bitrate
[ 5] 0.00-1.00 sec 598 KBytes 4.90 Mbits/sec
[ 5] 1.00-2.00 sec 699 KBytes 5.72 Mbits/sec
[ 5] 2.00-3.00 sec 1.38 MBytes 11.6 Mbits/sec
[ 5] 3.00-4.00 sec 871 KBytes 7.14 Mbits/sec
[ 5] 4.00-5.00 sec 1.36 MBytes 11.4 Mbits/sec
[ 5] 5.00-6.00 sec 1.43 MBytes 12.0 Mbits/sec
[ 5] 6.00-7.00 sec 1.23 MBytes 10.3 Mbits/sec
[ 5] 7.00-8.00 sec 592 KBytes 4.85 Mbits/sec
[ 5] 8.00-9.00 sec 1.20 MBytes 10.1 Mbits/sec
[ 5] 9.00-10.00 sec 1.35 MBytes 11.4 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.04 sec 10.6 MBytes 8.89 Mbits/sec receiver
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
配置网卡
- 服务器端 1Gbit/s 全双工(使用 ethtool 测试)
- 英特尔适配器
有谁知道我该如何进一步隔离问题甚至了解问题。
答案1
随着升级到版本 6,问题得到了解决。