![为什么我的带有 multiq 的 bond 接口会忽略 tc 的队列选择?](https://linux22.com/image/758173/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%88%91%E7%9A%84%E5%B8%A6%E6%9C%89%20multiq%20%E7%9A%84%20bond%20%E6%8E%A5%E5%8F%A3%E4%BC%9A%E5%BF%BD%E7%95%A5%20tc%20%E7%9A%84%E9%98%9F%E5%88%97%E9%80%89%E6%8B%A9%EF%BC%9F.png)
在 Debian Buster 内核 5.4.51 上,我有两个接口tap0
,并tap1
以绑定接口模式连接balance-xor
以增加吞吐量。但是,有些流量必须发送tap0
。其余的我不关心。
理论上,bond 驱动程序可以使用tc
过滤器和 multiq 来实现这一点,如驱动程序文档。我可以从统计信息中看到队列已被使用,但检查两个接口上的流量表明过滤器未得到遵守。
这是我所做的:
我将每个分接接口分配给绑定上的一个队列,将排队规则设置为多队列,然后用它tc
来覆盖绑定的排队决策,以强制流量192.168.1.100
(作为示例)始终采用tap0
。
# echo "tap0:1" > /sys/class/net/bond0/bonding/queue_id
# echo "tap1:2" > /sys/class/net/bond0/bonding/queue_id
# tc qdisc add dev bond0 handle 1 root multiq
# tc filter add dev bond0 protocol ip parent 1: prio 1 u32 match ip dst \
192.168.1.100 action skbedit queue_mapping 1
在tc
统计数据中,您可以看到实际使用了不同的队列:
# tc -s class show dev bond0
class multiq 1:1 parent 1:
Sent 377256252 bytes 2526104 pkt (dropped 0, overlimits 0 requeues 0)
backlog 0b 0p requeues 0
class multiq 1:2 parent 1:
Sent 21031 bytes 2982 pkt (dropped 0, overlimits 0 requeues 0)
backlog 0b 0p requeues 0
class multiq 1:3 parent 1:
Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0)
backlog 0b 0p requeues 0
大多数流量采用通用队列,特殊流量采用两个特定接口队列中的第一个。如果我tc filter
再次删除,则特定队列 1:2 上的数据包计数器将停止。
(注意bonding driver和tc之间的队列号是相差1的,所以队列1:1表示“让driver决定”,队列1:2表示“总是通过tap0
”,队列1:3表示“总是通过tap1
”)
队列也映射到接口:
# cat /proc/net/bonding/bond
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: load balancing (xor)
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 1000
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0
Slave Interface: tap0
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: xx:xx:xx:xx:xx:89
Slave queue ID: 1
Slave Interface: tap1
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: xx:xx:xx:xx:xx:d6
Slave queue ID: 2
但是,如果我tcpdump
分别查看接收端的两个分接头,我可以清楚地看到,无论使用哪个队列,特殊流量实际上仍然使用规则采用任一接口balance-xor
。现在 - 我在哪里错过了什么?
答案1
好的,深入挖掘一下,文档中有这样的注释:
该功能首次出现在bonding driver版本3.7.0中,并且对输出从属选择的支持仅限于循环和主动备份模式。
Debian Buster 有 3.7.1,并且显然支持是仍然仅限于这两种模式,所以我现在想做的事情是不可能做到的。你可以将模式设置为,active-backup
然后队列就会立即得到尊重。这当然违背了负载平衡的目的。我曾希望使用任何其他模式都会引起某种警告,但事实并非如此。驱动程序只是愉快地忽略了你告诉它做的事情。
您唯一需要做的就是允许在非活动接口上输入数据包,否则您重定向的数据包tc
将被丢弃:
# echo 1 > /sys/class/net/bond0/bonding/all_slaves_active
我认为,如果有人真的想要,他们现在可以使用一些tc
魔法来重新实现balance-xor
那里的逻辑并覆盖每个数据包的目标队列。然后可以保留该模式active-backup
但实现负载平衡。或者只是在绑定驱动程序中实现此功能。