在将日志输入到 Splunk 或 Elastic Search 之前对其进行解析或重新格式化

在将日志输入到 Splunk 或 Elastic Search 之前对其进行解析或重新格式化

我有非常复杂的日志消息,我想将其减少到最重要的字段以节省配额。

日志消息是多行的,其中有很多冗余信息。一个解决方案是编写一些脚本,在将这些日志提供给 Splunk 转发器之前将它们重新格式化为一行,但我更愿意使用现有的解决方案。我考虑过使用 logstash 或 fluentd 之类的东西,但它们似乎并不真正符合我的用例。

有没有人有使用 Splunk 或 ELK 日志解析的经验并且知道有什么好的实用程序可以做到这一点?

谢谢并致以最诚挚的问候!

答案1

这在处理 Windows 事件日志时很常见。许多人通过使用SEDCMDtransforms.conf 来编辑事件来解决此问题。

另一个解决方案是使用 Cribl 预处理事件(https://www.cribl.io/)。

相关内容