Robots.txt中的混淆通配符：*+*，*%2B*，*%2b*

Question

这三行在这个robots.txt中意味着什么(显然，我指的是*+*、*%2B*和*%2b*)？

Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*

Answer 1

原始“标准”只定义

不允许 此字段的值指定不被访问的部分URL。这可以是完整路径，也可以是部分路径；任何以此值开头的URL都不会被检索。例如，Disallow: /help不允许/help.html和/help/index.html，而Disallow: /help/则不允许/help/index.html但允许/help.html。

这意味着，所有路径都匹配字面上的(没有字符具有特殊的意义，就像在模式匹配中那样)。

但它也指出

它不是由标准机构支持的官方标准，也不是任何商业组织拥有的标准。它不是任何人强制的..。

最近和现代的Google文档解释说

Google、Bing、Yahoo和Ask支持有限形式的路径值“通配符”。它们是：

• *指定任何有效字符的0或多个实例。
• $指定URL的结尾。

所以

Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*

将不允许所有以/collections/开头的路径，后面跟着包含

• +
• +
• %2b

因为这些字符在路径模式中没有特殊的意义。