我的网站有性能问题,部分原因是机器人。我检查了我的AWStats,发现一些IP地址占用了大量的带宽。我怎么知道列入黑名单是否安全?有几个人每月消耗2GB或更多,一直如此。
看这个截图:https://ibb.co/hJ6hmR
我试过在这些IP上查找IP,但是我如何知道是否应该保留它,比如已知的爬虫?
我还检查了AWStats中的爬虫器,但是我没有看到IP地址,所以我无法知道它是从哪里来的。一个未知的机器人消耗了11 GB,而Googlebot只使用了1GB。https://ibb.co/cWDCmR
我怎么才能挑出坏爬虫?
发布于 2017-10-29 18:19:12
如果您使用Apache,可以尝试禁止.htaccess中的机器人。
BrowserMatchNoCase thisisthebotname bad_bot
Order Deny,Allow
Deny from env=bad_bot但你需要机器人的用户代理
https://stackoverflow.com/questions/47003585
复制相似问题