使用syslog-ng通过配置分离部分传入日志。

Question

我收到的日志没有任何解析：

source s_network {
     network( transport(tcp) port(601) flags(no-parse));
};

我保存的日志有两个部分：

1. 回收器信息
2. json日志的一部分(如下所示)：

Feb 18 00:01:58 82.172.112.1 <40> 2020-02-17T20:29:49Z logserver-2 : {"method":"GET","scheme":"https","domain":"test.com","uri":"/App_Themes/font.woff","referer":"https://test.com/","ip":"31.135.115.92","ua":"Mozilla/5.0 (iPhone; CPU iPhone OS 13_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.5 Mobile/15E148 Safari/604.1","content_type":"text/html","status":404,"server_port":443,"bytes_sent":1222,"bytes_received":1245,"upstream_time":0.016}

我的问题是：

如何分离json部分(删除文本的第一部分)？

如何根据json数据生成文件名？例如，我希望将get method保存在单独的文件中。

Answer 1

要将JSON从其他信息中分离出来，可以很容易地做到：

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.18/administration-guide/33

destination d_file {
    file("/var/log/${YEAR}.${MONTH}.${DAY}/json"
         template("${MESSAGE}\n")
         template-escape(no));
};

要访问JSON中的值，请使用以下解析器：

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/release-notes/the-json-parser-the-json-parser

parser parser_name {
    json-parser(
        marker()
        prefix()
    );
};

并将这些部件组合起来，以获得您想要的结果：

source s_network {
     network( transport(tcp) port(601) );
};

destination d_date_method {
    file("/var/log/${YEAR}.${MONTH}.${DAY}/${method}.json"
         template("${MESSAGE}\n")
         template-escape(no));
};

parser p_json {
    json-parser();
};

log {
    source(s_network);
    parser(p_json);
    destination(d_date_method);
};

确保禁用源中的标志no-parse：

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/administration-guide/para-flags-no-parse