不允许具有ID的URL被爬行

Question

我有一个约100000网址的网站。我不允许对具有此模式的ID的所有URL进行爬行：

www.example.com/node/sport/category/id

但那些没有身份证的人：

www.example.com/node/sport/category/

我如何在robots.txt中处理这个问题？

更新：

ID是一些数字，如/12343/或/12345/等

Answer 1

要实现这一点，robots.txt可以包含以下行

User-agent: *
Disallow: /*/*/*/id

您还可以在旧的搜索控制台中的robots.txt检查器中测试这一点。