从Kafka发送日志到Elasticsearch的最快方法

Question

我正在寻找最快的日志寄件人，它可以直接传输我的日志到elasticsearch从卡夫卡。我可以举出一些方法来做这件事：

1. 卡夫卡->弹性搜索
2. 卡夫卡-> Logstash ->弹性搜索
3. 卡夫卡-> Golang ->弹性搜索
4. Kafka -> rsyslog ->弹性搜索
5. Kafka -> java/c/c++ ->弹性搜索

有人能告诉我哪一种方式是最快的(最高的EPS和相同的资源)来做这项工作吗？提前感谢！

Answer 1

最快是有点难说，有几个好的选择，它将归结为因素，包括您的硬件，消息大小，等等。

对于卡夫卡的任何整合，我的出发点总是卡夫卡连接--因为它是阿帕奇卡夫卡自身的一部分。有一个弹性搜索连接器，您可以下载独立的，以便与现有的Kafka集群一起使用，也可以作为汇合平台的一部分获得。

免责声明:我为汇合部工作。