☰

为什么我的带有 multiq 的 bond 接口会忽略 tc 的队列选择？

tag-icon • tag-icon linux-networking bonding tc
为什么我的带有 multiq 的 bond 接口会忽略 tc 的队列选择？

在 Debian Buster 内核 5.4.51 上，我有两个接口tap0，并tap1以绑定接口模式连接balance-xor以增加吞吐量。但是，有些流量必须发送tap0。其余的我不关心。

理论上，bond 驱动程序可以使用tc过滤器和 multiq 来实现这一点，如驱动程序文档。我可以从统计信息中看到队列已被使用，但检查两个接口上的流量表明过滤器未得到遵守。

这是我所做的：

我将每个分接接口分配给绑定上的一个队列，将排队规则设置为多队列，然后用它tc来覆盖绑定的排队决策，以强制流量192.168.1.100（作为示例）始终采用tap0。

# echo "tap0:1" > /sys/class/net/bond0/bonding/queue_id
# echo "tap1:2" > /sys/class/net/bond0/bonding/queue_id

# tc qdisc add dev bond0 handle 1 root multiq

# tc filter add dev bond0 protocol ip parent 1: prio 1 u32 match ip dst \
    192.168.1.100 action skbedit queue_mapping 1

在tc统计数据中，您可以看到实际使用了不同的队列：

# tc -s class show dev bond0
class multiq 1:1 parent 1: 
 Sent 377256252 bytes 2526104 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0
class multiq 1:2 parent 1: 
 Sent 21031 bytes 2982 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0
class multiq 1:3 parent 1: 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0

大多数流量采用通用队列，特殊流量采用两个特定接口队列中的第一个。如果我tc filter再次删除，则特定队列 1:2 上的数据包计数器将停止。

（注意bonding driver和tc之间的队列号是相差1的，所以队列1:1表示“让driver决定”，队列1:2表示“总是通过tap0”，队列1:3表示“总是通过tap1”）

队列也映射到接口：

# cat /proc/net/bonding/bond
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: load balancing (xor)
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 1000
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: tap0
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: xx:xx:xx:xx:xx:89
Slave queue ID: 1

Slave Interface: tap1
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: xx:xx:xx:xx:xx:d6
Slave queue ID: 2

但是，如果我tcpdump分别查看接收端的两个分接头，我可以清楚地看到，无论使用哪个队列，特殊流量实际上仍然使用规则采用任一接口balance-xor。现在 - 我在哪里错过了什么？

答案1

好的，深入挖掘一下，文档中有这样的注释：

该功能首次出现在bonding driver版本3.7.0中，并且对输出从属选择的支持仅限于循环和主动备份模式。

Debian Buster 有 3.7.1，并且显然支持是仍然仅限于这两种模式，所以我现在想做的事情是不可能做到的。你可以将模式设置为，active-backup然后队列就会立即得到尊重。这当然违背了负载平衡的目的。我曾希望使用任何其他模式都会引起某种警告，但事实并非如此。驱动程序只是愉快地忽略了你告诉它做的事情。

您唯一需要做的就是允许在非活动接口上输入数据包，否则您重定向的数据包tc将被丢弃：

# echo 1 > /sys/class/net/bond0/bonding/all_slaves_active

我认为，如果有人真的想要，他们现在可以使用一些tc魔法来重新实现balance-xor那里的逻辑并覆盖每个数据包的目标队列。然后可以保留该模式active-backup但实现负载平衡。或者只是在绑定驱动程序中实现此功能。

相关内容