我们将从logstash向kafka提供来自不同来源的不同日志。将会有一些特定的集合(或某种格式)消息,kafka的消费者会比其他消息更感兴趣。我们如何确定消息的优先级?
一种想法是在kafka中创建两个主题- 1) high_priority_topic 2) low_priority_topic,然后使用logstash中的filter将感兴趣的消息推送到high_priority_topic,并将其余消息推送给其他人。这个是可能的吗?
对此有什么推荐的方法吗?
发布于 2016-07-08 05:03:53
使用标签或键入logstash来区分high_priority和low_priority,然后有两个kafka输出。
if CONDITIONAL {
kafka {
topic => "high_priority_topic"
...
}
}
else {
kafka {
topic => "low_priority_topic"
...
}
}使用type时,条件如下所示
[type] == "high_priority"使用标记,它将如下所示
"high_priority" in [tags]https://stackoverflow.com/questions/38252392
复制相似问题