filebeat可以将一个数据传输到logstash和kafak吗？

Question

我想使用filebeat向logstash和kafak发送一个日志，然后logstash将日志发送到es，我可以在es中搜索它，kafak使用它来分析数据。

filebeat.yml

output.logstash:
  hosts: ["172.31.29.xxx:5044"]
output.kafka:
    enabled: true
    hosts: ["xxx"]
    topic: "test-log"

它不起作用，有什么办法可以做到吗？

Answer 1

你不能，filebeat只支持一个输出。

你有两种方法来做你想做的事情。

logstash仅将您日志发送到Kafka，并将

1. 配置为从Kafka主题中读取，然后将日志发送到logstash，并将logstash输出到Kafka和elasticsearch.

使用第一种方法，您将获得kafka中的原始事件，并使用logstash读取它，并在需要时应用一些过滤器。使用第二种方法，如果您想要应用一些过滤器，则需要克隆每个事件，同时仍然将原始事件发送到Kafka。