提高具有大量连接和高小数据包流量的千兆网络上的 TCP 性能

Question 1

问题可能是你的网卡中断太多。如果带宽不是问题，那么频率就是问题：

打开网卡上的发送/接收缓冲区
```
ethtool -g eth0
```

将显示当前设置（256 或 512 个条目）。您可能可以将其提高到 1024、2048 或 3172。更多可能没有意义。这只是一个环形缓冲区，只有当服务器无法足够快地处理传入数据包时才会填满。

如果缓冲区开始填满，流量控制是告诉路由器或交换机减慢速度的另一种方式：

打开服务器和其所连接的交换机/路由器端口的入站/出站流量控制。
```
ethtool -a eth0
```

可能会显示：

Pause parameters for eth0:
Autonegotiate:  on
RX:             on
TX:             on

检查 /var/log/messages 以了解 eth0 的当前设置。检查以下内容：

eth0：链路处于 1000 Mbps 状态，全双工，流量控制 tx 和 rx

如果您没有看到 tx 和 rx，则您的网络管理员必须调整交换机/路由器上的值。在 Cisco 上，接收/传输流量控制已打开。

谨防：改变这些值将会使您的链接在很短的时间内（少于 1 秒）断开和恢复。

如果所有这些都没有帮助 - 您还可以将网卡速度降低到 100 MBit（在交换机/路由器端口上执行相同操作）
```
ethtool -s eth0 autoneg off && ethtool -s eth0 speed 100
```

但就您而言，我想说 - 提高 NIC 环形缓冲区中的接收缓冲区。

Answer

问题可能是你的网卡中断太多。如果带宽不是问题，那么频率就是问题：

打开网卡上的发送/接收缓冲区
```
ethtool -g eth0
```

将显示当前设置（256 或 512 个条目）。您可能可以将其提高到 1024、2048 或 3172。更多可能没有意义。这只是一个环形缓冲区，只有当服务器无法足够快地处理传入数据包时才会填满。

如果缓冲区开始填满，流量控制是告诉路由器或交换机减慢速度的另一种方式：

打开服务器和其所连接的交换机/路由器端口的入站/出站流量控制。
```
ethtool -a eth0
```

可能会显示：

Pause parameters for eth0:
Autonegotiate:  on
RX:             on
TX:             on

检查 /var/log/messages 以了解 eth0 的当前设置。检查以下内容：

eth0：链路处于 1000 Mbps 状态，全双工，流量控制 tx 和 rx

如果您没有看到 tx 和 rx，则您的网络管理员必须调整交换机/路由器上的值。在 Cisco 上，接收/传输流量控制已打开。

谨防：改变这些值将会使您的链接在很短的时间内（少于 1 秒）断开和恢复。

如果所有这些都没有帮助 - 您还可以将网卡速度降低到 100 MBit（在交换机/路由器端口上执行相同操作）
```
ethtool -s eth0 autoneg off && ethtool -s eth0 speed 100
```

但就您而言，我想说 - 提高 NIC 环形缓冲区中的接收缓冲区。

Question 2

以下可能不是明确的答案，但肯定会提出一些想法

尝试将这些添加到 sysctl.conf

##  tcp selective acknowledgements. 
net.ipv4.tcp_sack = 1
##enable window scaling
net.ipv4.tcp_window_scaling = 1
##
net.ipv4.tcp_no_metrics_save = 1

虽然选择性 tcp ack 在高带宽网络的情况下有利于实现最佳性能。但要注意其他缺点不过。窗口缩放的好处这里。至于第三个 sysctl 选项：默认情况下，TCP 在连接关闭时将各种连接指标保存在路由缓存中，以便近期建立的连接可以使用这些指标来设置初始条件。通常，这会提高整体性能，但有时可能会导致性能下降。如果设置，TCP 将不会在关闭连接时缓存指标。

检查

ethtool -k ethX

查看卸载是否已启用。TCP 校验和卸载当今大多数以太网网卡都支持大段卸载，显然博通也支持它。

尝试使用工具

powertop

当网络空闲时以及当网络达到饱和时。这肯定会显示 NIC 中断是否是罪魁祸首。设备轮询是解决这种情况的答案。FreeBSD 支持在 ifconfig 中轮询开关，但 Linux 没有这样的选项。请咨询这启用轮询。据说 BroadCom 也支持轮询，这对您来说是个好消息。

巨型数据包调整可能对你来说不太适用，因为你提到你的流量大部分都是小数据包。不过，无论如何，还是试试吧！

Answer