我的目标是配置一个容器,使其充当路由器,在多个 VPN 连接上实现负载平衡。
为了做到这一点,我使用以下概率标记启动数据包:
iptables -I PREROUTING -t mangle -j CONNMARK --restore-mark
iptables -A PREROUTING -t mangle -m statistic --mode random --probability .50 -j MARK --set-mark 200 -m mark --mark 0
iptables -A PREROUTING -t mangle -j MARK --set-mark 201 -m mark --mark 0
iptables -A POSTROUTING -t mangle -j CONNMARK --save-mark
选择两个路由表之一:
echo "200 tun0" >> /etc/iproute2/rt_tables
echo "201 tun1" >> /etc/iproute2/rt_tables
ip rule add fwmark 200 table tun0
ip rule add fwmark 201 table tun1
我相信路由表选择正确,因为当我配置任一表 tun0/1 以使用 VPN 网关流量时,似乎无法返回。Atcpdump
显示流量退出,但任何命令都失败。
ip route add default 10.7.7.1 dev tun0 table tun0
ip route add default 10.7.7.1 dev tun1 table tun1
如果表 tun0/1 使用非 VPN 网关,10.10.10.1
流量将按预期运行。我还可以通过在主表上设置默认路由来在 VPN 网关之间进行选择:
ip route add default 10.7.7.1 dev tun0/1
因此,问题似乎是通过自定义表而不是主表选择 VPN 网关时出现的。欢迎提供任何线索/诊断/建议!
注意:我已经配置了必要的选项:
echo 0 > /proc/sys/net/ipv4/conf/**/rp_filter
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
sysctl -w net.ipv4.fwmark_reflect=1
sysctl -w net.ipv4.ip_forward=1
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE
iptables -t nat -A POSTROUTING -o tun0 -j MASQUERADE
iptables -t nat -A POSTROUTING -o tun1 -j MASQUERADE
回答:
@AB 的回答提供了解决方案。我需要在 tun0/1 表中添加一条返回本地网络的流量路由:
ip r a 10.10.10.0/24 via 10.10.10.1 table tun0
ip r a 10.10.10.0/24 via 10.10.10.1 table tun1
正如@AB 所说,没有这些标记的数据包将被发回到它们被接收的隧道。
答案1
让我们看看到底发生了什么。
- 数据包(新流的第一个数据包)从非隧道接口到达
- 连接跟踪为该数据包创建新条目,开始新流程
- 数据包在路由决策之前接收(随机,这次:)标记 200
- 数据包使用表 200 进行路由
- 表 200 只有一个可能性:数据包将通过tun0
- 数据包的标记被保存在它的整个流中连接跟踪条目(即:康马克)。
到目前为止一切顺利,数据包(及其流量)已通过负载平衡tun0。
现在会发生什么,当回复此流程中的数据包是否返回?
回复数据包来自tun0
回复数据包由连接跟踪作为现有流程的一部分
数据包从其继承了标记 200康马克与路由决策之前的现有流程相关联
数据包使用表 200 进行路由
表 200 只有一个可能性:数据包将通过tun0
哎呀:回复数据包被路由回其来源地:隧道接口,而不是流的初始数据包的来源地。
根据下一跳路由器(隧道远程端点)
rp_filter=0
是否也禁用了严格反向路径转发(),数据包要么被丢弃,要么再次被路由回来创建一个循环,直到其递减 TTL 达到 0。
因此,问题似乎出在通过自定义表而不是主表选择 VPN 网关时。
确实,主要的路由表有多个默认路由。它通常包括一个或多个 LAN 路由。因此,当不涉及标记时,在评估以下条件后,回复将被正确路由:全部主路由表条目,而不仅仅是遵循其默认路由。
这些额外的 LAN 路由:使用以下路由eth0和eth1或者至少涉及客户端请求的那个(如果不是两个的话)也必须复制到附加路由表 200 和 201 中。
补充说明(不适用于 OP 的情况):在以相反方向工作的设置中:来自不同节点的原始流使用完全相同的(私有)IP 源地址流向同一服务,可能存在两个看起来完全相同的不同流(相同的 5 组协议、saddr、sport、daddr、dport),除了它们的隧道接口。默认情况下连接跟踪会看到单个流。为了防止这种情况,可以使用连接跟踪区域,(选择一个值来表示接口)有连接跟踪分别处理。