EFK Stack中的Fluentbit和Fluentd，为什么我需要使用fluentd？

Question

嘿，朋友们，谁能给我解释一下为什么我需要用fluentd做聚合器？下面是我一直在做的基础设施

Fluentbit(日志转发器) --> Fluentd(数据处理和聚合器) --> Elasticsearch --> Kibana

很抱歉没有显示图片，但是你可以在这里找到我所指的拓扑：https://medium.com/redbox-techblog/building-an-open-data-platform-logging-with-fluentd-and-elasticsearch-4582de868398

好吧，也许这是一个奇怪的问题，但我仍然不明白为什么我需要它？当我只能使用fluentbit将日志直接转发到elasticsearch时，为什么我们必须使用聚合器？

为了获得更多信息，我将在几个节点(我认为大约50个节点)中使用大量的fluentbit。

如果你能帮助我，我将非常感谢，并为我糟糕的英语感到抱歉

谢谢

Answer 1

您不需要它，只需确保您的Elasticsearch集群已正确设置，以便它可以处理多个传入连接和流量的负载。

Answer 2

像fluentd或logstash这样的日志收集器可以确保不会有“坏数据”的风险，因为“坏数据”可能会在生产过程中导致问题。日志收集器提供了一个unified logging layer，将数据源与后端系统分离。

希望这能有所帮助。