FluentD聚合器-何时使用？

Question

我们正在考虑使用FluentD将Blue Coat日志事件从代理和dhcp服务器发送到elastic。关键需求之一是尽快标记异常值和异常。

对于这样的需求，使用FluentD聚合器接收来自几个(可能数百个) FluentD收集器代理的事件有意义吗？或者，让FluentD代理将事件发送到写入Elastic的Kafka集群是否更好？

如果我能得到一些关于何时使用FluentD聚合器的指南，那将会非常有帮助。

谢谢你，沙罗德

Answer 1

一般来说，有两种常见的情况。

1-当您需要为过滤器使用多个插件时2-限制目标服务的吞吐量/db/等...

过滤器的插件消耗了大量的性能。这意味着它可能会影响生成日志的服务器。因此，服务器上的fluentd应该做最少的工作，将日志传输到聚合器或Kafka或其他东西。

另外，如果您有时需要重写配置，如果您在聚合服务器中使用过滤器，则不需要重新启动服务器上的所有fluentd。

2-通常，外部服务/数据库在更新/插入数据到其存储时有很多限制。如果很多fluentd尝试频繁地写入数据，它们会很容易地显示出任何异常。为了避免这种情况，应该使用聚合器。