查看日志文件的脚本

Question

当我查看服务器上的日志时，我希望在深入了解之前，快速了解我所面临的问题类型。我通常使用下面的一行，这减少了我需要审查的日志行的数量，使每行更加通用，并且只保留唯一的行。

单线

cat /var/log/apache2/error.log | sed 's/.*] \(.*\)/\1/' | sed 's/[0-9]*//g' | sort | uniq

解释

| sed 's/.*] \(.*\)/\1/'：移除包含在最后一个括号组内和之前的所有内容，这些信息通常对应于特定于客户机/系统的信息，如[Mon Dec 05 12:01:03 2011] [error] [client a.b.c.d]。

| sed 's/[0-9]*//g'：删除数字

| sort | uniq：只保留不同的行。

为了给你一个想法，在一个包含大约500行的/var/log/apache2/error.log上，这会过滤到25行。当然，日志条目越通用/相似，一行程序就越有效。

我现在要找的是一个脚本(可以是bash、perl、python或其他任何东西)，它可以做同样的事情，但是更高级一些，以便更有效(例如，混淆文件路径、字母ids.)并且很有用(计算每条消息发生的次数，与日志的总数量相比，%)。

你知道这样做的脚本吗？

Answer 1

看看日志表。它确实会向您发送公共日志文件的每日概述。到目前为止，我只将它用于邮件日志，但afaik也可以处理apache日志。