什么是“不允许: /*?”在Twitter robots.txt中的意思？

Question

这里是除Google和co之外的所有其他机器人的部分。

# Every bot that might possibly read and respect this file.
User-agent: *
Allow: /search
Disallow: /search/users
Disallow: /search/*/grid

Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauth

"Dissallow: /*?“是否不允许所有URL，在这种情况下，下面的规则是多余的，还是只允许包含问号的URL？

更广泛地说，我想知道我是否被允许进入一个人的个人资料页面，并自动点击他们的个人网站的链接。不要在中间抓取，只需跟随链接。

谢谢,

拉兹

Answer 1

robots.txt规范只允许*作为通配符，因此/*?不允许所有以空查询字符串结尾的urls。因为?不是通配符，所以/*?不会禁止所有?，只允许以urls结尾的urls。