用例是这样的:我运行了几个java应用程序,它们都必须与不同的(每个都有一个特定的目标) elasticsearch索引进行交互。例如,应用程序A使用ElasticSearch的索引A、B、C来查询和更新。应用程序B使用索引A、C、D(比如)。
需要一些公共接口来管理所有这些数据流。目前,我正在为此目的评估Kafka和fluentd。谁能解释一下,哪一个更适合这种情况。我看过Kafka和Fluentd的特性,我真的不明白它在这里会有什么不同。非常感谢。
发布于 2016-02-02 12:38:27
kafka以分布式提交日志的形式提供发布/订阅消息。通常,你在每台主机上安装kafka,在那里你需要产生一些数据转发到其他地方,所有这些主机将一起形成一个集群。这里的好处是,如果由于某种原因,网络连接变得不稳定或中断,您的应用程序可以继续生成数据/日志,它们不会丢失。然而,如果您的应用程序直接将日志发送到某个远程集中式日志记录主机,您可能会在网络中断期间丢失一些日志。
fluentd是一个集中式fluentd日志收集器,通常安装在一台主机上(如果需要水平扩展,则安装在多台主机上)。它连接到remote数据源,应用筛选并将统一日志数据发送到remote数据接收器。
从fluentd文档中,您可以看到fluentd也可以consume data from kafka和produce data towards kafka。这本身就应该暗示fluentd和kafka在不同的层上,因为前者使用后者。
实际上,这对compare fluentd and logstash来说更符合逻辑。就fluentd而言,kafka只是另一个数据源和/或数据宿,但它们完全是不同的野兽。
如果你想两全其美,使用kafka作为应用程序的输入/输出数据管道,并使用fluentd (或logstash)作为从这些kafka主题读取的集中式日志记录系统。
如果你想阅读更多关于这个主题的内容,你可以阅读fluentd and kafka complement each other非常好,阅读他们不是相互竞争。
发布于 2018-04-20 04:02:27
来自:The Life Blood Of Your Data Pipeline
Kafka主要用于保存日志数据,而不是移动日志数据。因此,Kafka生产者需要编写代码将数据放入Kafka中,而Kafka消费者需要编写代码将数据从Kafka中拉出。
Fluentd为Kafka提供了输入和输出插件,因此数据工程师可以编写更少的代码来获取Kafka中的数据。我们有很多用户使用Fluentd作为Kafka的生产者和/或消费者。
https://stackoverflow.com/questions/35144835
复制相似问题