回答情况：
提问时间：
问题标签：
在我的elmah异常中，我不断地得到似乎是googlebot的异常，但我想象的是有人冒充自己，试图从我的服务器下载似乎是商品和其他不可靠的软件。HTTP_USER_AGENT Mozilla/5.0 (兼容；Googlebot/2.1；+)
所以我的问题是，这个googlebot是在搜索恶意软件
浏览 5提问于2010-10-13得票数 0
回答已采纳
5回答
Googlebot没有Accept-Language，我想用DNS查找来验证它gethostbyaddr($_SERVER['REMOTE_ADDR']);
?
浏览 0修改于2012-07-14得票数 6
回答已采纳
我想阻止在我的网站上收集数据(当然，除了googlebot )。我猜依靠GB的UserAgent是不够强大的(每个机器人都可以伪造它)
我如何仍然验证GoogleBot以避免伪造。
浏览 6提问于2011-12-22得票数 1
回答已采纳
gapi.plusone.render("plusone-div");编辑:传递一个包含#的url！
浏览 2修改于2013-10-17得票数 0
回答已采纳
我的问题是googlebot是否可以跟踪通过javascript onchange函数重定向的页面：<select id="bla"> document.getElementById("bla").onchange = function() { // code to redirect }现在，goo
浏览 0提问于2011-07-26得票数 0
回答已采纳
当SPDY在网站上可用时，Googlebot会使用它吗？如果是这样的话，启用SPDY的站点在Googlebot上会出现得更快。
浏览 0修改于2014-12-17得票数 9
回答已采纳
谷歌的机器人是否发送头部请求以及接收请求？要验证“旋风”应用程序是否接受HEAD请求，我需要：Date: Thu, 10 Mar 2016 08:49:07 GMTContent-Length: 7520X-Ua-Compatible:
浏览 3提问于2016-03-10得票数 0
回答已采纳
Googlebot没有Accept-Language，我想用DNS查找来验证它 gethostbyaddr($_SERVER['REMOTE_ADDR']);
?
浏览 0修改于2010-06-20得票数 0
回答已采纳
我们追踪到是某个机器人，还是有人在操纵我们，但我们追踪到了一个使用ISP Googlebot和IP是66.249.66.###的用户--📷
我们的网站是被一次垃圾邮件攻击Googlebot所破坏，还是只是我们的一个错误？任何帮助都将不胜感激！
浏览 0修改于2016-07-26得票数 1
识别Googlebot爬虫最可靠、最快的方法是什么？rDNS可以被欺骗，所以googlebot的ip列表看起来是最可靠的方式。是否有任何站点/资源，在那里可以获得真正的googlebot ips？
浏览 1提问于2011-10-25得票数 2
回答已采纳
我有一个用AngularJS 1.0.7开发的网站。我开始和SEO打交道变得很疯狂。我读过很多文章说Google Crawler无法对这些基于Javascript的网站进行索引。还有其他一些帖子说谷歌在一段时间前没有问题地为这些网站建立索引，比如这个。<!doctype html><head&
浏览 3提问于2015-02-18得票数 3
回答已采纳
最近我在我的网站上看到了一个重要的googlebot爬行。我们说的是每秒10到20次请求。它看起来像googlebot，而且看起来是合法的googlebot IP，但是请求中的查询仿冒被编码为韩国和中国的字符，似乎可以翻译成垃圾邮件。
我能够通过更新我的robots.txt来减少爬行。施虐者如何能够创建这些垃圾邮件查询，从而将googlebot请求放大到我的站点？这是爬虫中常见的漏洞吗？它似乎可以轻松地再次作为一个DDoS在一个不同的网站或路线。
浏览 0提问于2023-04-06得票数 1
我在.htaccess中有www重定向。所以www.example.com得到了301重定向到example.com，但谷歌仍然试图获取www.example.com。
浏览 0提问于2012-12-04得票数 0
回答已采纳
但奇怪的是，用户代理自称是Googlebot，而IP则是谷歌注册的。
URL绝不会由我的web应用程序生成，但看起来并不是特别恶意。
浏览 0修改于2013-12-19得票数 2
我已经建立了一个Django站点，并收到了来自GoogleBot的警告，我认为它在我的URL上设置了一个测试参数(0)。0在我的数据库中是不存在的主键。q=0.9,*/*;q=0.8','HTTP_CONNECTION': 'close',
'HTTP_FROM': 'googlebot(at)googlebot.com'
浏览 1修改于2014-11-21得票数 0
回答已采纳
有什么方法可以让googlebot不抓取用于webservice的链接吗？当我试图通过url访问我的webservice时，当没有传递任何参数时，它返回500错误。
浏览 0提问于2012-12-21得票数 0
回答已采纳
我有一个网站，取决于位置，用户收到一些消息，从另一个网站成员。因此，通过工作流用户需要将地址输入到textfield，然后通过ajax回调，他得到了一个答案。所有向服务器发送的请求都以邮寄方式进行。我的问题是我怎样才能让谷歌机器人变得更好？如何索引谷歌这类像twitter这样的网站？我有几个解决办法，但我不确定：
浏览 1修改于2015-06-18得票数 0
当googlebot访问我们的站点时，它似乎试图访问不存在的urls，从而引发异常。似乎googlebot可以使用哪些参数，因为urls不是来自页面的链接。有什么办法控制这种行为吗？
浏览 0提问于2012-09-17得票数 3
我刚在我的站点中添加了<meta name="googlebot" content="noindex">，它生成一个使用MVC 5的pdf文件，并且不再创建该文件。
浏览 5提问于2022-09-08得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号