是否可以为一个文件节拍配置多个输出？

Question

在我们的一个应用程序中，我们使用logstash解析应用程序日志，并将它们索引到elasticsearch中。我们的简单架构是日志文件-->文件-->日志存储

由于我们启用了多个日志文件示例(apachelogs、人工日志、应用程序日志等)，因此logstash无法解析数据量，因此在elasticsearch中缺少日志。是否有任何方法在logstash中处理大量的数据，或者可以使用多个logstash服务器根据日志类型接收来自文件节拍的日志？例如:应用程序日志将输出logstash-1和单身汉发送到logstash-2。

提前谢谢。

Answer 1

目前无法在File节拍中多次定义相同的输出类型。

但是要实现你想要的，有几种选择：

• 您可以在文件节中使用负载平衡选项将事件分发给多个Logstash。默认情况下，https://www.elastic.co/guide/en/beats/filebeat/current/logstash-output.html#loadbalance会选择一个随机的主机并坚持它。
• 使用类似于卡夫卡的队列，并使logstash使用kafka输入，这将允许您根据需要添加更多的LS。