☰

通过配置使用 syslog-ng 分离传入日志的 json 部分

tag-icon • tag-icon syslog syslog-ng
通过配置使用 syslog-ng 分离传入日志的 json 部分

我收到了我的日志但没有任何解析：

source s_network {
     network( transport(tcp) port(601) flags(no-parse));
};

我保存的日志有两部分：

  1. 收件人信息
  2. 日志的 json 部分（如下所示）：

Feb 18 00:01:58 82.172.112.1 <40> 2020-02-17T20:29:49Z logserver-2 : {"method":"GET","scheme":"https","domain":"test.com","uri":"/App_Themes/font.woff","referer":"https://test.com/","ip":"31.135.115.92","ua":"Mozilla/5.0 (iPhone; CPU iPhone OS 13_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.5 Mobile/15E148 Safari/604.1","content_type":"text/html","status":404,"server_port":443,"bytes_sent":1222,"bytes_received":1245,"upstream_time":0.016}

我的问题是：

我如何分离 json 部分（删除文本的第一部分）？

如何根据 json 数据生成文件名？例如，我想保存get method在单独的文件中。

答案1

要将 JSON 与其他信息分开，可以很简单：

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.18/administration-guide/33

destination d_file {
    file("/var/log/${YEAR}.${MONTH}.${DAY}/json"
         template("${MESSAGE}\n")
         template-escape(no));
};

要访问 JSON 中的值，请使用相应的解析器：

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/release-notes/the-json-parser-the-json-parser

parser parser_name {
    json-parser(
        marker()
        prefix()
    );
};

并结合各部分以获得您想要的结果：

source s_network {
     network( transport(tcp) port(601) );
};

destination d_date_method {
    file("/var/log/${YEAR}.${MONTH}.${DAY}/${method}.json"
         template("${MESSAGE}\n")
         template-escape(no));
};

parser p_json {
    json-parser();
};

log {
    source(s_network);
    parser(p_json);
    destination(d_date_method);
};

确保no-parse在源中禁用该标志：

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/administration-guide/para-flags-no-parse

相关内容