对数数据过滤器

Question

我有一个日志文件，它有以下格式的日期

"respHdr":{"date":"Tue,%2008%20Jul%202014%2022:08:18%20GMT","expires":"Tue,%2008%20Jul%202014%2022:08:18%20GMT"}

如何使用logstash日期筛选器解析给定的日期格式？

Answer 1

您的日志看起来是JSON格式的，日期字段中有URLEncoded值，所以您需要做的第一件事是将codec=>json添加到input或json { source => message }中。

在Logstash中将事情作为事件处理后，您需要对日期字段进行解码：

urldecode { field => 'respHdr.date' }
urldecode { field => 'respHdr.expires' }

然后最后解析这些字段中的日期：

date {
  target => '@timestamp'
  match => [ 'respHdr.date', 'WHATEVER_FORMAT_THAT_DATE_IS' ]
}
date {
  target => 'expires'
  match => [ 'respHdr.expires', 'WHATEVER_FORMAT_THAT_DATE_IS' ]
}

您需要咨询日志存放日期文件以确定该日期的格式。