如何在AWS上实施集中式日志记录解决方案？

Question

我们需要集中式日志记录，以便为我们的基础设施监视、存储、管理和可视化日志。

日志记录解决方案必须能够捕获来自用不同语言编写的项目的消息。

实现定制的解决方案将导致与管理和维护其组件相关的额外任务、成本和依赖关系。因此，我们正在考虑使用AWS合作伙伴网络(APN)产品。

Splunk、Sumo Logic、Datadog、Elastic和Loggly的最佳管理解决方案是什么？

Answer 1

我已经使用了你提到的许多解决方案。Splunk很好，但如果你有大量的数据，它就会变得非常昂贵。你可以一直使用Cloudwatch日志，但它在视觉上没有给你太多的东西。

我会推荐ELK (ElasticSearch，Logstash，Kibana)栈。这是一个非常标准的解决方案；其中日志存储在Elastic Search中。Kibana用于日志的可视化。这几乎是实时工作的。

如果你有非常具体的仪表板，那么你总是可以使用一些前端技术，如AngularJS等创建自定义仪表板，但如果可视化部分真的很大，非常灵活，那么我觉得ELK更好。

Answer 2

ELK (ElasticSearch，Logstash，Kibana)堆栈对于你正在寻找的东西来说是一个非常好的解决方案，但是在某些情况下ELK无法获得一些指标，在这种情况下，你有一些解决方案，比如创建自己的beat程序来获取信息，或者使用另一个程序来收集这些指标，比如Apache NiFi。

Answer 3

您可以使用亚马逊网络服务CloudWatch，为您的每个应用程序或服务创建一个日志流。定义您的自定义指标，创建仪表板和警报。

它并不局限于AWS things；您可以将CloudWatch日志代理用于本地网络上的本地服务或软件。

有关更多信息，请阅读Jeff Barr的以下文章

https://aws.amazon.com/blogs/aws/cloudwatch-log-service/

和

https://aws.amazon.com/blogs/aws/improvements-to-cloudwatch-logs-dashboards/

仅供参考:我们已经通过CloudWatch监控了亚马逊网络服务内外的许多应用程序和服务，它的工作方式就像一个护身符。