使用数据挖掘/统计进行日志监控

Question

我有一个很大的日志文件集，我想要描述它们的特征，或者可能添加某种决策树或某种分析。但我不知道到底是什么。你对日志文件做了什么样的分析，大量的日志文件。

例如，到目前为止，我正在收集对给定日志文件的特定页面发出的请求数。

Servlet = 60个请求，Servlet2 = 70个请求，等等。

我想就在这里，只过滤最受欢迎的请求。此外，可能会在2小时内完成类似60个请求的操作。60 / 160分钟。

Answer 1

决定要做什么分析取决于您试图根据该分析做出什么决策。例如，我目前监控我们的应用程序报告的异常的日志(客户端应用程序中的所有异常都记录在服务器中)，以确定应该调查哪些高优先级客户端bug。我还使用日志搜索软件来监控我们的服务器软件报告的任何异常，这些异常可能需要立即进行调查。除了一切生成的日志之外，我还使用了一些监控软件来跟踪我们的web服务器和数据库服务器的使用情况，它们在数据库中记录了使用情况等数据。这样做的最终目标是预测未来的使用水平，并适当地购买更多硬件以跟上需求。

我一直在使用的两个(免费)工具是：

Hyperic用于监控，它很容易设置，并且可以开始记录大量你可能感兴趣的数据，例如每秒在web服务器上的请求数。

Splunk用于搜索日志文件，它非常容易设置和使用，并为您提供了出色的日志文件搜索功能。如果你现在正在处理日志文件，并且还没有尝试过splunk，我绝对推荐它。当我在我们的主生产服务器上使用它时，我注意到有几次它占用了100%的cpu，所以最近在那台机器上停止了运行它，只是一个警告。

不知道您的分析目的是什么，我的主要目的是寻找任何我应该知道的错误，并为未来的容量需求进行规划。如果你对后者感兴趣，我也推荐The Art of Capacity Planning。