如何将特定日志条目镜像(同步)到数据文件?

如何将特定日志条目镜像(同步)到数据文件?

在VPS中运行CentOS 7.7

问题:
是否有本机功能可以将匹配特定搜索条件的特定日志文件中的行复制|复制|同步到单独的数据文件以供存档参考?

目的:
我正在运行 CSF 防火墙,并希望归档指示块的日志行,以便基于 ASN.1 对常见网络犯罪者进行定期统计分析。

防火墙允许按国家/地区或 ASN 进行阻止,这是减少垃圾邮件和端口扫描程序的非常有效的方法,消除了 96% 以上的不需要的流量。之前,我已将转换后的数据复制到通过可旋转的 Google Sheets 进行分析

日志示例:

/var/log/lfd.log
Sep 21 06:14:30 server lfd[7330]: *Port Scan* detected from 120.202.192.171 (CN/China/-/-/-/[AS9808 Guangdong Mobile Communication Co.Ltd.]). 6 hits in the last 230 seconds - *Blocked in csf* for 36000 secs [PS_LIMIT]

笔记:
• 匹配线很容易通过'识别脑脊液阻塞' 并作为'。
• 日志每天随时可以接收最多 120 个此类条目。
• 该日志文件在每周日早上 0300 点之后的某个时间轮换;开始和结束时间不一致;条目通常在此期间输入。
• 轮换文件被gzip 压缩并重命名为:/var/log/lfd.log-YYYYMMDD.gz
• 日期采用不规则格式,用于统计分析,大约一半的日志行是不需要的。

注意事项:
我认为实时解决方案是理想的,因为这将避免需要跟踪哪些条目已被复制,哪些条目尚未复制。否则,解决方案将需要解决日志在不一致的时间定期轮换和压缩的问题。

理想情况下,我还想将数据转换为常规的分隔格式,因为它被复制到存档文件以检查最流行的(频率) 按日期时间段划分的违法者。我只需要 CSV 或 TSV 格式:

[DATE], [COUNTRY], [ASN], [ISP]

我想每天到每周分析这些违规者,因此希望尽可能简化这一过程,包括通过命令行对选定日期期间进行简单的统计分析。我对 Linux 上的统计没有经验,因此也在寻找有关本机统计包的建议,该包很容易在存档文件上调用。到目前为止,PSPP 看起来是完成这项工作最有效的工具。

预先感谢您关于创建选择性日志行存档的建议,可能会在此过程中对其进行转换,也可能是本机统计数据包。

相关内容