ELK - Logstash - GROK模式:从给定的以下日志中提取所有从{@timestamp开始的日志

Question

Jul 13 03:19:38 tciapp bw/o:01E45HV1D7GGJQZ49AKS4NW7QV:oc:a188c69b8193:c：{ "timestamp"：1594610381，"time"："03:19:41.017"，"level"："INFO"，"appname"："HZ3PLAUpdateService"，"apptype"："bw"，"orgid"："01E45HV1D7GGJQZ49AKS4NW7QV"，"appid"："bkwjui6nb6i3xdp6zjvncbk77ukuoghk"，"instance"："a188c69b8193"，"message"：“bwEngThread:内存中进程Worker-7 c.t.b.p.g.L.T.shared.LogInfo - {'@timestamp':'2020-07-13T03:19:41.012Z'，'client.domain':'E'，‘techem.property’：‘0015011257'，'country':'DE'，'module':'HZ3_PLAUpdateService'，'log.level':'info'，’message‘：’0015011257已完成HZ3PLAUpdateService SOAP请求‘，'error.message':''，'techem.pr.number':'0015/011257'，‘key’：{‘key’：‘pr.num.key’，'value':'0015011257'}}“}

Answer 1

请查找您的logstash配置的筛选器部分：

filter {
    grok {
      match => { "message" => "%{GREEDYDATA:logs} \- \{%{GREEDYDATA:KV}\} \"" }
      overwrite => [ "message" ]
          }

      kv {
           source => "KV"
           value_split => ":"
           field_split => ","
           target => "msg"
         }
  }

*我已经使用Grok Debugger将您的日志消息过滤为两部分。您可以在此处查看输出。

​

然后，我使用KV Filter将字段与它们的值分开。

你可以试一试，看看它对你是否有效。