robots.txt配置

Question

我对这个机器人文件有一些疑问。

User-agent: *
Disallow: /administrator/
Disallow: /css/
Disallow: /func/
Disallow: /images/
Disallow: /inc/
Disallow: /js/
Disallow: /login/
Disallow: /recover/
Disallow: /Scripts/
Disallow: /store/com-handler/
Disallow: /store/img/
Disallow: /store/theme/
Disallow: /store/StoreSys.swf
Disallow: config.php

这将为每个文件夹中的所有文件禁用爬虫，对吗？或者我必须在每个文件夹名称的末尾添加一个星号？

我想这个应该可以了。但我不确定是否必须在User-agent之后添加Allow: /，我想这是不必要的。

这个机器人文件有什么问题吗？

附言:如果有人能推荐一个本地使用的验证应用程序，我会很高兴。

谢谢。

Answer 1

如果我明白你想要什么，这是可以的。例如。

/administrator/
/css/subpage

都被阻止了，但是

/foo 

是允许的。请注意，Allow是一个不太受支持的扩展，它的设计目的只是为了对抗之前的不允许。您可以在以下情况下使用它，例如，尽管您

Disallow: /images/

您决定要允许特定的图像。所以,

Allow: /images/ok_image

所有其他图像仍被阻止。你可以访问http://www.searchtools.com/robots/robots-txt.html获取更多信息，包括一个棋子列表。