问如何在robots.txt中使用通配符
EN

Stack Overflow用户

提问于 2013-02-08 00:29:48

回答 1查看 270关注 0票数 0

是否可以执行以下操作：

User-agent: *
Disallow: /apps/abc*/

在robots.txt文件中禁用abc123、abc-xyz等？

回答已采纳

发布于 2013-02-08 00:33:03

引用Wikipedia

机器人排除标准在Disallow:语句中没有提到任何有关"*“字符的内容。一些爬虫，如Googlebot和Slurp，可以识别包含"*“的字符串，而MSNbot和Teoma则以不同的方式解释它。

其他研究可以在cited source上找到。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/14756042

复制

相似问题

问如何在robots.txt中使用通配符EN