日志文件分析中的蜘蛛/机器人过滤技术

Question

我先告诉你我们要做什么。

我们所采取的措施抓住了很多蜘蛛，但我们不知道我们少了多少蜘蛛。目前，我们采用了一套明显部分重叠的措施：

1. 监视robots.txt文件的请求:当然，从相同的IP地址+用户代理过滤所有其他请求
2. 将用户代理和IP地址与已发布的列表进行比较: iab.net和user-agents.org发布两个列表，这两个列表似乎是用于此目的的最广泛的列表。
3. 模式分析:对于这些指标，我们当然没有预先设定的阈值，但仍然认为它们很有用。我们将(i)页面浏览视为时间的函数(即，在每页上点击200毫秒的大量链接即可证明)；(ii)“用户”通过网站的路径是系统的、完整的还是几乎是这样的(比如跟踪算法)；以及(iii)精确的访问时间(例如，每天凌晨3点)。

再一次，我很肯定我们会得到一些很好的结果，但我很有兴趣从社区那里获得意见。

Answer 1

这些通讯贴上了网络日志分析的标签

商业尼霍网站日志分析器站点页面可能是有用的阅读。