☰

ubuntu 仅使用 8 个 CPU 来处理带有 vmxnet3 的 RX 和 TX 队列

tag-icon • tag-icon vmware-esxi linux-networking ubuntu-16.04
ubuntu 仅使用 8 个 CPU 来处理带有 vmxnet3 的 RX 和 TX 队列

我在 vmware esxi 6.7 上安装了 Ubuntu 16.04，这台机器有 32 个核心 CPU。Linux 只运行 8 个队列用于 tx 和 rx，在高负载下无法使用所有 CPU。

# ethtool -S ens192 | grep Queue
 Tx Queue#: 0
 Tx Queue#: 1
 Tx Queue#: 2
 Tx Queue#: 3
 Tx Queue#: 4
 Tx Queue#: 5
 Tx Queue#: 6
 Tx Queue#: 7
 Rx Queue#: 0
 Rx Queue#: 1
 Rx Queue#: 2
 Rx Queue#: 3
 Rx Queue#: 4
 Rx Queue#: 5
 Rx Queue#: 6
 Rx Queue#: 7

我配置 modprob

options vmxnet3 num_rqs=32 num_tqs=32

但内核在启动时拒绝选项

# dmesg  | grep num_
[    2.626483] vmxnet3: unknown parameter 'num_rqs' ignored
[    2.627238] vmxnet3: unknown parameter 'num_tqs' ignored

这是 lspci 输出

lspci -k
03:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
    DeviceName: Ethernet0
    Subsystem: VMware VMXNET3 Ethernet Controller
    Kernel driver in use: vmxnet3
    Kernel modules: vmxnet3
0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
    DeviceName: Ethernet1
    Subsystem: VMware VMXNET3 Ethernet Controller
    Kernel driver in use: vmxnet3
    Kernel modules: vmxnet3

和司机

# lspci -n | grep "03:00\|0b:00.0"
03:00.0 0200: 15ad:07b0 (rev 01)
0b:00.0 0200: 15ad:07b0 (rev 01)

我怎样才能增加这些队列？

答案1

您可以在运行时更改队列数量。因此，使用 检查队列的限制ethtool --show-channels ens192，然后使用 更改数量ethtool --set-channels ens192 rx N tx N。注意：由于缺少此功能支持，上述方法不适用于 vmxnet3 驱动程序。

更新：检查 vmxnet3_driver 的源代码后，我发现最大队列数为 8（https://elixir.bootlin.com/linux/latest/source/drivers/net/vmxnet3/vmxnet3_int.h#L306）。队列数量取决于 CPU 数量（https://elixir.bootlin.com/linux/latest/source/drivers/net/vmxnet3/vmxnet3_drv.c#L3398）。但显然它不能超过硬编码值。

更新 2：我检查了 vmware-tools 的来源。它的驱动程序还有其他限制：最多 32 个队列（https://github.com/vmware/open-vm-tools/blob/master/open-vm-tools/modules/shared/vmxnet/vmxnet3_defs.h#L636)。所以你可以尝试使用它。

答案2

我问过这个问题open-vm-tools 邮件列表

您需要较新的 ESXi 版本（7.0）和使用硬件版本 17 的虚拟机才能拥有​​支持超过 8 个队列的 vmxnet3 设备。

然后，您将需要较新的客户驱动程序才能使用该功能 - 当前 Linux 内核中的驱动程序不支持扩展队列。

相关内容