Robots.txt优先级问题

Question

如果我在robots.txt中有以下几行：

Disallow /folder/
Allow /folder/filename.php

那么filename.php会被允许吗？

谷歌对这些行的优先顺序是什么？

例如，这里会发生什么？

Allow /
Disallow /

我在这里主要指的是谷歌作为一个搜索引擎。

谢谢

Answer 1

对于你的第一个例子，是的，文件/folder/filename.php将被允许，因为谷歌将优先考虑最具体的规则。例如，有关更多详细信息，请参见here或check Wikipedia's article。

此外，谷歌有一个关于如何在here上使用robots.txt的详细文档。

编辑:对于第二个例子，Allow将按照拜伦·惠特洛克在他的答案中发布的维基百科的引述进行优先排序。

Answer 2

这取决于搜索引擎：

虽然通过标准实现，第一个匹配的robots.txt模式总是获胜，但谷歌的实现的不同之处在于，允许在指令路径中具有相等或更多字符的模式胜过匹配的不允许模式。Bing使用Allow或Disallow指令，这是最具体的。

为了与所有的robots兼容，如果想要允许单个文件位于不允许的目录中，则必须先放置allow指令，然后再放置Disallow指令。

http://en.wikipedia.org/wiki/Robots_exclusion_standard