Googlebots请求类型

Question

谷歌的机器人是否发送头部请求以及接收请求？

我对此感到好奇，因为我正在运行一个不支持HEAD请求的旋风式应用程序，而且我在Google搜索控制台中有很多404错误。

要验证“旋风”应用程序是否接受HEAD请求，我需要：

curl -I example.com/this-url-exists

HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=edge,chrome=1
Server: TornadoServer/4.2.1

我怀疑Googlebots也在为一些爬行者做同样的事情。

这是对的吗？

Answer 1

我很确定Googlebot不会发送头部请求--至少在爬行和索引网站方面不会这样。

我2016年1月和2月的访问记录显示，Googlebot没有提出任何头部请求。

即使Googlebot确实使用了HEAD请求，如果这些请求在Google搜索控制台中导致404错误，我也会感到非常惊讶。Google只应该对失败的GET请求报告404错误。