我有一个在很多情况下都使用过的方法，但这次在 Debian 11（内核 5.10.0-10-amd64）上不起作用
我的设置基本上是一个用于 RFC1918 LAN 的内部接口 eth0，以及两个连接到某些 ISP 的 Box 的外部接口：
ISP1 的 eth1 为默认路由器，地址为 10.0.0.254，公网 IP 为 1.2.3.4（比喻）
ISP2 的 eth2 有一个路由器，地址为 10.0.3.254，公网地址为 2.3.4.5
我有不同的可能路由。我想控制我的数据包采用哪条路由，所以我创建了一些规则和 fwmark。首先我附加2<tab>secondrouter在/etc/iproute2/rt_tables
ip rule add fwmark 0x3 lookup secondrouter
ip route add default via 10.0.3.254 table secondrouter
一切都很好，关于ip route list table secondrouter和ip rule list
目前我可以做：
curl -4 ifconfig.me
1.2.3.4 #<- public ip address of my default route
然后我就这么做了
iptables-legacy -t mangle -A OUTPUT -d 34.117.59.81 -j MARK --set-mark 0x3
现在如果我这么做
curl -4 ifconfig.me
<timeout>
我预期 2.3.4.5 是公网 IP。因此，显然标记的数据包不会从 IP 路由表中获取路由，更糟糕的是，它会超时。
如果我在旧版 Debian 上以完全相同的方式执行此操作，它可以完美运行。
注意：如果我做
ip route add 34.117.59.81 via <second router IP>
我的卷曲测试按预期完美运行
curl -4 ifconfig.me
2.3.4.5 #<- Pub ip address of my second router
我的问题出现在使用iptables或iptables-legacy标记要路由的数据包时。顺便说一句，我有很多运行良好的 iptables 规则，所以这看起来不像是 iptables 问题。
iptables-legacy-save
# Generated by iptables-save v1.8.7 on Sun Jan 23 22:35:06 2022
*mangle
:PREROUTING ACCEPT [41:5019]
:INPUT ACCEPT [41:5019]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [44:4752]
:POSTROUTING ACCEPT [44:4752]
-A OUTPUT -d 192.168.0.0/16 -j RETURN
-A OUTPUT -d 172.16.0.0/12 -j RETURN
-A OUTPUT -d 10.0.0.0/8 -j RETURN
-A OUTPUT -d 34.117.59.81/32 -j MARK --set-xmark 0x3/0xffffffff
COMMIT
# Completed on Sun Jan 23 22:35:06 2022
# Generated by iptables-save v1.8.7 on Sun Jan 23 22:35:06 2022
*filter
:INPUT DROP [19:7746]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [846:62420]
-A INPUT -m state --state INVALID -j DROP
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -p udp -m udp --dport 500 -j ACCEPT
-A INPUT -p esp -j ACCEPT
-A INPUT -p ah -j ACCEPT
-A INPUT -p tcp -m tcp --dport 22 -j ACCEPT
-A INPUT -s 192.168.0.0/16 -p tcp -m tcp --dport 3128 -j ACCEPT
-A INPUT -s 172.16.0.0/12 -p tcp -m tcp --dport 3128 -j ACCEPT
-A INPUT -s 10.0.0.0/8 -p tcp -m tcp --dport 3128 -j ACCEPT
-A FORWARD -m state --state INVALID -j DROP
-A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -s 192.168.0.0/16 -d 10.0.6.0/24 -j ACCEPT
-A FORWARD -s 10.0.6.0/24 -d 192.168.0.0/16 -j ACCEPT
COMMIT
# Completed on Sun Jan 23 22:35:06 2022
答案1
当数据包离开机器时，它会被赋予一个与默认输出接口相对应的源 IP 地址。
因此需要在输出接口上添加 MASQUERADE 规则，因为标记规则为我们的数据包提供了与计划目的地不同的目的地。
iptables-legacy -t nat -A POSTROUTING -o eth2 -j MASQUERADE
为了理解 netfilter 的处理顺序：（通过普卢夫）
(input interface)
|
v
/-------+-------\
| sanity checks |
\-------+-------/
|
v hook NF_IP_PRE_ROUTING
+------+------+
| conntrack |
| defrag. |
+-------------+
| mangle |
| PREROUTING |
+-------------+
| nat (dst) |
| PREROUTING |
+------+------+
|
v
local delivery /----+----\ forward
+---------------+ route +---------------+
| \---------/ |
v v
/-----+-----\ /-----+-----\
| defrag. | | TTL check |
\-----+-----/ | dec. TTL |
| \-----+-----/
v hook NF_IP_LOCAL_IN |
+------+------+ |
| mangle (1) | |
| INPUT | |
+-------------+ |
| filter | v
| INPUT | /-----+-----\
+-------------+ | DF check |
| nat (src)(2)| \-----+-----/
+-------------+ |
| conntrack | |
| confirm | |
+------+------+ hook v NF_IP_FORWARD
| +------+------+
v | mangle (1) |
/------+--------\ | FORWARD |
| local process | +-------------|
\------+--------/ | filter |
| | FORWARD |
v +------+------+
/-----+-----\ |
| route | |
| frag. | |
\-----+-----/ |
| |
v hook NF_IP_LOCAL_OUT |
+------+------+ |
| conntrack | |
| defrag. | |
+-------------+ |
| mangle | |
| OUTPUT | |
+-------------+ v
| nat (dst)(3)| /-----+-----\
| OUTPUT | | frag. |
+-------------+ \-----+-----/
| filter | |
| OUTPUT | |
+------+------+ |
| |
v |
/-----+-----\ |
| reroute | |
\-----+-----/ |
| |
+------------------+ +------------------+
| |
v v hook NF_IP_POST_ROUTING
+---+-----+---+
| mangle (1) |
| POSTROUTING |
+-------------+
| nat (src) |
| defrag. |
| POSTROUTING |
+-------------+
| conntrack |
| confirm |
| frag. |
+------+------+
|
v
(output interface)