我如何验证googlebot

Question

我要阻止所有的机器人，除了大型搜索引擎。

我的阻塞方法之一是检查“语言”：Accept-Language

如果它没有接受语言，机器人的IP地址将被阻止，直到2037年。

Googlebot没有Accept-Language，我想用DNS查找来验证它

<?php
    gethostbyaddr($_SERVER['REMOTE_ADDR']);
?>

使用gethostbyaddr可以吗，有人能通过我的"gethostbyaddr保护“吗？

Answer 1

对于堆栈溢出来说，这确实是一个问题，而不是服务器故障( SEO站点实际上是最好的)，但是您所得到的信息是非常不可靠的。googlebot可以来自任意数量的IP地址，从而逆转DNS查找。可能有数千种不同的选择，如果其中一种改变了，那么你就会阻止一个合法的机器人近30年了。

事实上，我刚找到一个堆栈溢出问题来回答你的问题。这是谷歌第一次因"如何识别谷歌“而走红。

通过用户代理和IP地址标识搜索引擎。更多的信息可以找到如何识别搜索引擎蜘蛛和网络机器人。这也是值得注意的清单。但是，您不应该将用户代理(甚至远程主机)看作是确定的。用户代理实际上只不过是另一端告诉您的内容，当然，它可以自由地告诉您任何事情。编写代码假装是Googlebot是微不足道的。

(注：谷歌实际上建议你使用来验证他们的机器人。.这对于他们的场景来说可能是可以的，但这肯定不是一个更广泛使用的好主意。而且速度很慢)。