Googlebot请求类型

Question

谷歌的机器人是否发送头部请求以及接收请求？

我对此感到好奇，因为我正在运行一个不支持HEAD请求的旋风式应用程序，而且我在Google搜索控制台中有很多404错误。

要验证“旋风”应用程序是否接受HEAD请求，我需要：

curl -I example.com/this-url-exists

HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=edge,chrome=1
Server: TornadoServer/4.2.1

我怀疑Googlebots也在为一些爬行者做同样的事情。

这是对的吗？

Answer 1

据我所知，Googlebot不发送头请求(其他主要搜索引擎的爬虫也不发送)。但是，无论哪种方式，这404并不是由于请求是一个头:将头发送到不支持它的资源返回状态代码405，而不是404。