使用NXLog删除重复行

Question

我正在使用NXLog读取日志文件并将其发送到Logstash。这可以很好地工作，但是一些日志项是重复的。它们在不同的行中，但内容完全相同。我不能改变日志写入日志文件的方式，所以唯一的方法是在发送之前用NXlog修复它，或者在它到达时用Logstash修复，这是我不喜欢做的。

NXlog确实有一个这样的函数，但它对我不起作用。

<Processor norepeat>
Module  pm_norepeat
</Processor>

<Route 1>
Path in => norepeat => out
</Route>

在此之后，我仍然在Logstash中接收副本。有什么想法吗？

Answer 1

im_file填充raw_event，因此您可能应该使用以下代码：

CheckFields raw_event

请参阅答案here。