Logstash插件，匹配时添加字段

Question

我有这样一场相亲：

grok{ match => [ “message”, “Duration: %{NUMBER:duration}”, “Speed: %{NUMBER:speed}” ] }

如果与grok模式匹配，我还想向捕获的变量添加另一个字段。我知道我可以使用变异插件和if-否则添加新的字段，但我有太多的匹配，这将是太长的方式。举个例子，我想为给定的文本捕获右侧字段。

"Duration: 12" => [duration: "12", type: "duration_type"]
"Speed: 12" => [speed: "12", type: "speed_type"]

有办法这样做吗？

Answer 1

我不能百分之百确定这是否是你所需要的，但我也做了一些类似的事情。我对我的消息进行了基本的解析，然后再用可选的匹配来分析一个特定的字段。

grok {
            break_on_match => false
            patterns_dir => "/etc/logstash/conf.d/patterns"
            match => {
                "message" => "\[%{LOGLEVEL:level}\] \[%{IPORHOST:from}\] %{TIMESTAMP_ISO8601:timestamp} \[%{DATA:thread}\] \[%{NOTSPACE:logger}\] %{GREEDYDATA:msg}"
                "thread" => "(%{GREEDYDATA}%{REQUEST_TYPE:reqType}%{SPACE}%{URIPATH:reqPath}(%{URIPARAM:reqParam})?)?"
            }
        }

正如您所看到的，第一个简单地匹配完整的消息。我有一个字段线程，基本上就是Logger信息。但是，在我的设置中，http请求将一些信息附加到线程名中。在这些情况下，我也想选择匹配它们。

通过上述设置，只有在线程能够匹配字段的情况下，才会创建字段reqType、reqPath、reqParam。否则他们就不会了。

我希望这是你想要的。

谢谢你，阿图尔

Answer 2

像这样吗？

filter{
  grok { match =>  [ "message", "%{GREEDYDATA:types}: %{NUMBER:value}" ] }
  mutate {
    lowercase => [ "types" ]
    add_field => { "%{types}" => "%{value}"
                   "type" => "%{types}_type" }
    remove_field => [ "value", "types" ]
  }
}