如何追踪和阻止盗贼机器人？

Question

一个站点的大部分带宽被一个身份不明的机器人占用。根据AWSTATS的说法，这个月未知机器人(由‘bot*’识别)消耗了164 GB。

相比之下，Googlebot消耗了10 GB，访问者(查看流量)消耗了25 GB。这意味着流氓机器人正在消耗超过6倍的访客带宽。对于我运行的其他站点(大约十几个)，正常比率是25%，因此对于25 6GB的浏览流量，机器人的总容量约为6GB。

因此，问题是:如何确定是哪个bot(s)引起了如此巨大的请求，如果它们有用，如何阻止或减缓它们？

显然，访问该站点的大多数机器人都很重要，包括Googlebot、Yahoo、MSNBot等，包括AdSense/DoubleClick机器人，所以我不能简单地阻止所有的机器人。

我之所以对此进行调查，是因为我达到了带宽的极限，超出了主机的CPU使用量，所以我收到了通知。

Answer 1

1. 创建一个页面来捕获任何访问它的人的IP地址。将这些it添加到阻止它的htaccess文件中。(参见这里的示例)
2. 使用1px透明图像链接到网站页脚中的该页。
3. 在robots.txt中封锁那个页面，这样好的机器人就找不到它了

注意:白名单好的IP和/或用户代理也是一个好主意(搜索引擎蜘蛛的IP地址)