将日志文件同步到集中化服务器

Question

我们正在运行aws auto scaling，并且单个应用程序在多个服务器上运行。而我们面临的主要问题是日志集中解决方案。我们已经试过很多次了，但都达不到标准。我们终于在过去的6个月里使用了https://www.fluentd.org/ ( td-agnet)，但有时当有大量的日志到来时，它就会崩溃。

我们还尝试了一些基于Java的集中式日志解决方案，但它似乎需要更多的CPU和内存，因此我们将其放在一边。

因此，我的需求很明确，如下所示。

如果我们可以使用td-

• 来进行配置更改，以使其与所有大流量一起工作，则可以使用代理。

或者

• 我们必须使用一些其他的集中式日志解决方案，这些解决方案是开源的，占用更少的CPU或内存。

或

• 满足所有要求的付费工具。

我还想知道，你们专家用什么来集中日志。

提前谢谢。

Answer 1

您应该使用"elasticsearch“(https://www.elastic.co/solutions/logging)，它是ELK堆栈的一部分，用于集中式日志记录。

此外，AWS还为" Elasticsearch“提供了名为Amazon Elasticsearch (AWS ES)的托管服务