首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Fluentd vs Kafka

问Fluentd vs Kafka
EN

Stack Overflow用户
提问于 2016-02-02 12:04:14
回答 2查看 13.6K关注 0票数 30

用例是这样的:我运行了几个java应用程序,它们都必须与不同的(每个都有一个特定的目标) elasticsearch索引进行交互。例如,应用程序A使用ElasticSearch的索引A、B、C来查询和更新。应用程序B使用索引A、C、D(比如)。

需要一些公共接口来管理所有这些数据流。目前,我正在为此目的评估Kafka和fluentd。谁能解释一下,哪一个更适合这种情况。我看过Kafka和Fluentd的特性,我真的不明白它在这里会有什么不同。非常感谢。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-02-02 12:38:27

kafka以分布式提交日志的形式提供发布/订阅消息。通常,你在每台主机上安装kafka,在那里你需要产生一些数据转发到其他地方,所有这些主机将一起形成一个集群。这里的好处是,如果由于某种原因,网络连接变得不稳定或中断,您的应用程序可以继续生成数据/日志,它们不会丢失。然而,如果您的应用程序直接将日志发送到某个远程集中式日志记录主机,您可能会在网络中断期间丢失一些日志。

fluentd是一个集中式fluentd日志收集器,通常安装在一台主机上(如果需要水平扩展,则安装在多台主机上)。它连接到remote数据源,应用筛选并将统一日志数据发送到remote数据接收器。

从fluentd文档中,您可以看到fluentd也可以consume data from kafka和produce data towards kafka。这本身就应该暗示fluentd和kafka在不同的层上,因为前者使用后者。

实际上,这对compare fluentd and logstash来说更符合逻辑。就fluentd而言,kafka只是另一个数据源和/或数据宿,但它们完全是不同的野兽。

如果你想两全其美,使用kafka作为应用程序的输入/输出数据管道,并使用fluentd (或logstash)作为从这些kafka主题读取的集中式日志记录系统。

如果你想阅读更多关于这个主题的内容,你可以阅读fluentd and kafka complement each other非常好,阅读他们不是相互竞争。

票数 61
EN

Stack Overflow用户

发布于 2018-04-20 04:02:27

来自:The Life Blood Of Your Data Pipeline

Kafka主要用于保存日志数据,而不是移动日志数据。因此,Kafka生产者需要编写代码将数据放入Kafka中,而Kafka消费者需要编写代码将数据从Kafka中拉出。

Fluentd为Kafka提供了输入和输出插件,因此数据工程师可以编写更少的代码来获取Kafka中的数据。我们有很多用户使用Fluentd作为Kafka的生产者和/或消费者。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/35144835

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档