文章/答案/技术大牛

发布

社区首页 >问答首页 >识别googlebot的最佳方式

问识别googlebot的最佳方式
EN

Stack Overflow用户

提问于 2011-10-25 18:15:24

回答 2查看 1.4K关注 0票数 2

识别Googlebot爬虫最可靠、最快的方法是什么？rDNS可以被欺骗，所以googlebot的ip列表看起来是最可靠的方式。是否有任何站点/资源，在那里可以获得真正的googlebot ips？欢迎任何其他想法。

php

googlebot

identify

回答 2

Stack Overflow用户

回答已采纳

发布于 2011-10-25 18:22:21

如果你真的想要硬编码IP (我不推荐这样做，因为它可以在没有通知的情况下随时改变)，有一个可用的here列表。我的建议(还有，推荐的on Goggle Webmaster's blog)是你做一个反向域名系统，然后再做一个正向域名系统来验证这一点。这应该总是有效的，并且不能被欺骗。

票数 2

Stack Overflow用户

发布于 2013-10-15 01:26:11

谷歌机器人使用以下范围-

203.208.60.0/24，
66.249.64.0/20，
2001:4860:4801:2:6b00:6006:1300:b075，
2001:4860:4801:5:1000:6006:1300:b075，
2001:4860:4801:6:e300:6006:1300:b075，
2001:4860:4801:2001::6006:1300:b075，
2001:4860:4801:2002::6006:1300:b075

更多信息在这里-

http://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/7887762

复制

相似问题

问识别googlebot的最佳方式
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问识别googlebot的最佳方式EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问识别googlebot的最佳方式
EN