雅虎Slurp爬锤网站吗？

Question

很多robots.txt示例似乎都为Yahoo提供了长达2个小时的Crawl-Delay功能，这是因为Yahoo倾向于锤击一个网站并增加服务器负载吗？

Answer 1

“锤子”是主观的，但似乎确实有一种普遍的信念:让我们say...maybe比它真正需要的更具侵略性，而且它已经持续了很多年了。2007年年，2009年年，2011年年。对像slurp robots delay这样的东西进行基本的搜索就会产生大量的抱怨。

如果您真的想阻止Slurp，就像在其中一个链接中建议的那样，您可能也想在这里看到这个最近的问题进行不同的处理。

Answer 2

是的，从个人经验来看，Slurp很有进取心。百度更是如此。

如果你的网站能够承受谷歌，必应，Slurp和百度索引你的网站在同一周内，同时服务于你的客户或内容观众最小的滞后，你已经选择了你的平台规格和软件设置相当好。