用于非web应用程序的日志分析器

Question

我一直在寻找某种工具来分析自定义格式的日志文件(例如，我自己的程序格式)。有很多工具是为web流量日志分析而设计的，但我还没有找到适合自定义日志文件的工具。我很乐意找到一个可以收集所有时间戳并根据这些时间戳绘制结论或图表的地方。例如，show TPS (每秒事务处理量)。

我更喜欢使用免费的程序。基本上，它可以是任何类型的数据分析器，只要它能够解析日志文件。如果我只需要分析一种文件，我会写一个自己的程序，但我需要分析各种各样的文件。

我确实尝试了很长一段时间谷歌合适的工具，但每个分析器似乎都是为网络流量而设计的。

Answer 1

使用Log Parser，您可以通过简单的sql查询来获取信息。

对于文本文件，在cmd行中这样使用：

LogParser -i:textline "select * from 'c:\path\*.txt' where text like '%TEXT TO FIND%'"

或者尝试使用GUI。

Answer 2

这个问题对我来说似乎有点宽泛，但您的一个示例(使用时间戳计算/显示每秒事务的图表)给我带来了RRD。

虽然这可以帮助您分析和图表您的数据，但它是相当低级的，可能需要在您的网站上做一些工作。如果您在web应用程序方面没有问题，那么您可能想看看Cacti，它基于RRD，为您提供了一种分析数据和配置数据源的图形化方法。您可能仍然需要创建脚本来从日志文件/其他文件中提取您选择的数据，但是您可以免费获得"GUI“。

底线:编写一些(g)awk/perl脚本，并使用上面提到的工具，您应该可以轻松地进行下去。

Answer 3

在以前的工作中，我维护了一些perl脚本来总结这种类型的数据，并将其放在postgres database....then中，使用www.databeacon.com for analysis...but后，您可以在数据库中获得信息后生成任何您想要的图表。