preg_match规则检测除谷歌、雅虎、必应之外的所有机器人

Question

我在我的AW统计数据中发现了这个：

未知机器人(通过‘_+’后跟一个空格或以下字符之一进行标识：，.;/-)

636,127+83 17.95 GB

这就是在我的网站上消耗的最大带宽。是google机器人消耗的4倍。

我不知道这些机器人是什么，也不知道它们发送了多少流量，但本月在我的网站上机器人的总点击量已经超过了1M，这导致了一个“带宽超出”的错误信息

有没有办法用php preg阻止所有这些？

但我不想阻止谷歌机器人，雅虎机器人和必应机器人。

谁能给我在PHP中检测这些机器人的preg_match规则？

我想使用PHP，这样我就可以在发送403代码之前记录他们的输入。

谢谢

Answer 1

事实上，检测报头并不是一个好主意。

今天你用奇怪的名字捕获机器人，明天它变成Google bot并做同样不寻常的操作。

我正在使用CloudFlare，它可以让我的web应用程序/系统免受热链接、攻击、爬虫、坏人等攻击，缓存静态内容，节省服务器带宽等等。