如何将Kafka集群配置为与弹性搜索群集一起工作？

Question

我必须构建像这样的日志集群和监视集群(为了高可用性)。我想知道如何配置那些日志发送者集群。(图中有2张Topo )

1. 如果我在卡夫卡集群中使用卡夫卡和FileBeat，弹性搜索会因为卡夫卡在数据中有副本而接收复制数据吗？
2. 如果我使用Logstash (在弹性搜索集群中)从Kafka集群获取日志，那么配置应该如何，因为我认为Logstash将不知道在Kafka集群上如何读取日志效率。

簇拓扑

感谢您的阅读。如果你有任何想法，请与我讨论^^！

Answer 1

正如我所看到的，这两种配置都与Kafka兼容，您可以在消费者和生产者阶段使用filebeat、logstash或混合它们！

IMHO全部取决于您的需要，例如:有时我们使用一些过滤器在摄取到kafka (生产者阶段)之前丰富数据，或者在将数据索引到弹性阶段(消费者阶段)之前使用，在这种情况下使用logsatsh更好，因为使用筛选器比在文件中使用更容易。

但是如果你想玩原始数据，也许文件拍更好，因为代理更轻。

关于你的问题：

1. Kafka复制了数据，但是对于HA建议，您只需在同一个用户组中读取一次数据。
2. 如果用logstash从kafka读取日志，可以使用kafka的logstash输入插件，很简单，工作也很好！

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html