TLDR;
使用以下方式转发系统日志消息时,吞吐量明显降低rsyslog在具有 32 个核心和 128Gi RAM 的 Redhat 服务器上,使用 TCP 而不是 UDP 系统日志连接到远程服务器前锋行动。
如何使用 TCP 转发消息,同时跟上入站消息量?
注1:pps = 每秒数据包数
注 2:请注意 Rx 与 Tx 统计数据之间的差异
使用 UDP 转发传入消息时:
[~]$ ./check_network_stats.bash eth0
Rx 10088 pps Tx 10092 pps |--| Rx 7 Mbps Tx 7 Mbps
Rx 11858 pps Tx 11857 pps |--| Rx 8 Mbps Tx 8 Mbps
Rx 11503 pps Tx 11502 pps |--| Rx 8 Mbps Tx 8 Mbps
Rx 11423 pps Tx 11321 pps |--| Rx 8 Mbps Tx 8 Mbps
使用 TCP 转发传入消息时:
[~]$ source check_network_stats.bash eth0
Rx 10318 pps Tx 87 pps |--| Rx 7 Mbps Tx 0 Mbps
Rx 12150 pps Tx 162 pps |--| Rx 8 Mbps Tx 0 Mbps
Rx 9504 pps Tx 139 pps |--| Rx 7 Mbps Tx 0 Mbps
Rx 9774 pps Tx 67 pps |--| Rx 6 Mbps Tx 0 Mbps
Rx 12894 pps Tx 159 pps |--| Rx 9 Mbps Tx 0 Mbps
rsyslog.conf:
# rsyslog configuration file
#################
#### MODULES ####
#################
module(load="imjournal" StateFile="imjournal.state")
module(load="imklog") # reads kernel messages (the same are read from journald)
module(load="immark" interval="300") # provides --MARK-- message capability
module(load="imudp" threads="4" batchSize ="128") # Provides UDP syslog reception
module(load="imptcp" threads="10") # Provides TCP syslog reception
module(load="builtin:omfile" Template="RSYSLOG_TraditionalFileFormat") # Use default timestamp format
###############
#### RULES ####
###############
ruleset(name="sendToLogstash") {
action(type="omfwd"
name="action_ls"
Target="10.10.10.10"
Port="514"
Protocol="udp" # when this changed to TCP, throughput drops
queue.type="FixedArray"
)
}
###########################
#### LISTENERS ####
###########################
input(type="imudp" port="514" ruleset="sendToLogstash")
input(type="imptcp" port="514" ruleset="sendToLogstash")
###########################
#### GLOBAL DIRECTIVES ####
###########################
mark.* /var/log/messages
# Where to place auxiliary files
global(workDirectory="/var/lib/rsyslog")