简单来说,我在群集模式下为一个服务设置了 2 个容器。容器接收 udp 数据包并将其发送回多个客户端,这些客户端的 IP 和端口存储在数据库中。负载平衡:来自一个 IP 的数据包进入同一个容器。
情况如下:
容器 1 从客户端 1 接收数据包(
10.255.0.2:5874
- 我们在容器内看到的数据包的源 ip 和端口)并向他发回响应(成功)。容器 2 收到来自客户端 2 的数据包(
10.255.0.2:5875
)并希望将该数据包发送回两个客户端(使用数据库中的地址),但只有客户端2接收数据包!
我目前收集的调试信息:
sudo nsenter --net=/run/docker/netns/ingress_sbox
root@alpom-qa:~# sudo iptables --list -t mangle
sudo: unable to resolve host alpom-qa: Resource temporarily unavailable
Chain PREROUTING (policy ACCEPT)
target prot opt source destination
MARK tcp -- anywhere anywhere tcp dpt:5070 MARK set 0x161
MARK tcp -- anywhere anywhere tcp dpt:5062 MARK set 0x163
MARK tcp -- anywhere anywhere tcp dpt:5080 MARK set 0x16b
MARK tcp -- anywhere anywhere tcp dpt:http-alt MARK set 0x18f
MARK udp -- anywhere anywhere udp dpt:sip MARK set 0x192
MARK tcp -- anywhere anywhere tcp dpt:sip-tls MARK set 0x192
Chain INPUT (policy ACCEPT)
target prot opt source destination
MARK all -- anywhere 10.255.0.7 MARK set 0x161
MARK all -- anywhere 10.255.0.9 MARK set 0x163
MARK all -- anywhere 10.255.0.5 MARK set 0x16b
MARK all -- anywhere 10.255.10.115 MARK set 0x18f
MARK all -- anywhere 10.255.0.11 MARK set 0x192
Docker 使用 IPVS 进行负载平衡:
root@alpom-qa:~# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 353 rr
-> 10.255.10.245:0 Masq 1 0 0
FWM 355 rr
-> 10.255.10.246:0 Masq 1 0 0
FWM 363 rr
-> 10.255.11.61:0 Masq 1 0 0
FWM 399 rr
-> 10.255.11.91:0 Masq 1 0 13
FWM 402 rr
-> 10.255.11.93:0 Masq 1 0 1
-> 10.255.11.94:0 Masq 1 0 1
和连接(过滤掉udp):
root@alpom-qa:~# ipvsadm -lc
IPVS connection entries
pro expire state source virtual destination
UDP 04:59 UDP 10.10.0.1:5874 172.18.0.2:sip 10.255.11.93:sip
UDP 04:59 UDP 10.10.0.1:5875 172.18.0.2:sip 10.255.11.94:sip
和 tcpdump:
sudo tcpdump -i any src 10.255.11.93 -nn
仅显示类似条目13:03:28.280287 IP 10.255.11.93.5060 > 10.255.0.2.5874: SIP
看起来如果我们向10.255.0.2.5875
不是从的地方发送 udp 数据包10.255.11.94
(如连接列表中所示),它就会以某种方式丢失。