如何处理在现场实例上运行的应用程序生成的日志和调试信息

Question

我正在使用Amazon实例来抓取大量数据。他们大多数运行，直到亚马逊终止，一旦目前的价格超过我们的最高出价。

我需要监视并主要存档在这些spot实例中生成的日志。这些日志对于调试和分析非常重要。我们有应用程序日志，系统日志，如syslog，安全日志。以下是我能想到的选择：

• 使用丘克瓦/水槽。没有列出Facebook的抄写员，因为我认为这个项目已经失败了。用这种方法丢失日志的可能性很小。
• 将EBS卷附加到这些spot实例。但是，当spot实例终止时，管理这些卷将是一项痛苦的工作。
• 装入NFS卷，以便在该卷中写入日志。在这种方法中，有时性能确实很差。

此外，我认为在这些归档文件上运行诸如grep、awk等Linux命令的能力也很重要。在这种情况下，人们在使用什么？

我们已经在使用splunk了，但是我不会在splunk中归档日志。

Answer 1

我使用过两种方法：

• 使用Syslog将日志传送到另一个位置。对于AWS，我们使用VPC与本地数据中心中的专用机架进行VPN连接。我们的所有实例都在运行Syslog-NG，并将它们的日志发送到数据中心中的服务器。数据存储在MongoDB中。
• 使用对数旋转将日志存档到S3。它不像使用Syslog那样实时，但是设置和维护更简单，特别是在生成大量数据的情况下。AWS新宣布的数据管道也可能是该解决方案的一个很好的补充，因为您可以使用它来使用弹性地图减少作业自动处理日志。

Answer 2

正如您已经写过的，您可以选择使用Chkwa/Flume。

我相信这是进行日志处理和存储的最好和最有效的方法，但我可能建议使用logstash进行同样的处理和存储。

Logstash非常高效，并且支持许多内部消息格式。Logstash还提供了一个前端，您可以在其中使用正则表达式并检查结果。

虽然对于前端，我建议使用graylog2，它与logstash前端相比具有很多功能。

不过，如果你已经有了splunk，我不明白你为什么不想把数据存储在那里。会否是因为发牌费？我不确定他们的收费结构，但我知道有很多:)