我从实际用户中筛选机器人的方法之一是检查useragent。检测到后,我阻止他们正在使用的IP。我看到很多访问者都带着“”嵌入了他们的用户代理(例如):
mozilla/5.0 (x11; linux x86_64) applewebkit/537.36 (khtml, like gecko; google
web preview) chrome/41.0.2272.118 safari/537.36当我检查与这个用户代理相关的IP地址时,它们似乎与Google无关。它们都是来自世界各地的家庭IP地址。当我在我的网站上跟踪用户时,我注意到他的用户代理一旦继续浏览我的站点,我就会注意到:
mozilla/5.0 (ipad; cpu os 10_3_3 like mac os x) applewebkit/602.1.50 (khtml,
like gecko) gsa/33.0.164895372 mobile/14g60 safari/602.1问题:是机器人还是使用访问者生成预览?IP的行为就像普通用户一样(例如点击链接,被robots.txt阻塞)。
谢谢!
发布于 2018-04-09 15:44:47
在chrome中打开一个新的选项卡时,google搜索输入下面有一些访问最多的链接。
生成预览图像,以便加载网页,当加载网页时,用户代理包含“”
所以我会说它是个机器人。
https://stackoverflow.com/questions/45826598
复制相似问题