是否可能将相同的内容从日志文件推送到ElasticSearch

Question

logstash配置将日志文件设置为输入源，然后将内容发送到ElasticSearch。

input部分如下所示

input{
    file{
        path => "/data/logs/backend.log*"
        start_position => "beginning"
    }
}

然后日志文件将按大小滚动，这意味着最初日志文件名为backend.log，当文件大小达到10M时，将其重命名为backend.log.1，并创建一个新的空backend.log来记录内容。

因此，问题是logstash是否会将内容从backend.log.1发送到es服务器？或者ElasticSearch能够区分backend.log.1已经收到的内容，尽管这似乎没有效率。

Answer 1

file输入文档包含一个关于如何处理旋转的完整段落。

无论文件是通过重命名还是通过复制操作旋转，文件旋转都由此输入检测和处理。若要支持在旋转发生后写入旋转文件一段时间的程序，请在要监视的文件名模式(路径选项)中包括原始文件名和旋转文件名(例如/var/log/syslog和/var/log/syAdd.1-.1)。

由于tail模式是默认的，所以您的path参数应该确保使用glob模式来捕获所有文件，就像您所做的那样。所以你们都准备好了。尾矿快乐！