问Robots.txt禁止所有内容，只允许站点/页面的特定部分。像Ultraseek和FAST这样的爬虫支持"allow“吗？
EN

Stack Overflow用户

提问于 2008-12-26 06:15:11

回答 1查看 7.7K关注 0票数 4

只是想知道是否有可能禁止整个网站的爬虫，而只允许特定的网页或部分？像FAST和Ultraseek这样的爬虫支持"allow“吗？

回答已采纳

发布于 2008-12-26 07:40:58

有一个Allow Directive，但是不能保证特定的机器人会支持它(就像不能保证机器人会检查你的robots.txt一样)。你也许可以通过检查你的网络日志来判断特定的机器人是否只索引你网站允许的部分。

仅允许网站的特定页面或部分的格式可能如下所示：

Allow: /public/section1/
Disallow: /

这(应该)阻止机器人爬行或索引除/public/section1下的内容之外的任何内容

票数 7

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/393539

复制

相似问题

问Robots.txt禁止所有内容，只允许站点/页面的特定部分。像Ultraseek和FAST这样的爬虫支持"allow“吗？EN