Sitemap/robots.txt配置冲突

Question

我的robots.txt包含以下规则：

Disallow: /api/
Allow: /
Allow: /apiDocs

/apiDocs网址在站点地图中，但是根据Google工具，这些robots.txt规则禁止它被爬行。我想阻止所有与/api/*匹配的URL被抓取，但是允许/apiDocs被抓取。

我应该如何改变我的robots.txt以实现这一点？

Answer 1

• 在记录中不允许换行(在Disallow和Allow两行之间有一个)。
• 您不需要Allow: / (它与Disallow:相同，这是默认的)。
• 您不允许爬行/api/ (这是路径以"api“开头，后面跟着"/")的任何URL，因此不需要Allow: /apiDocs，因为它是允许的。

所以你的后备记录应该是：

User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/

当一个bot与这个“后备”记录相匹配时，它允许爬行路径以apiDocs开头的URL。