我怎么能在robots.txt中只允许一个代理？
我怎么能在robots.txt中只允许一个代理？
提问于 2021-05-18 14:18:11
我目前在我的robots.txt中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个例外，那就是Google AdSense的爬虫。
下面是我的代码：
User-agent: * Disallow: /
谷歌的AdSense爬虫名为“Mediapartners Google”。
我如何才能将其添加为异常，并继续阻止所有其他爬虫？
谢谢，各位！
回答 1
Stack Overflow用户
发布于 2021-05-18 15:25:51
这可能就是您要查找的内容：
User-agent: Mediapartners-Google Disallow:
User-agent: * Disallow: /并不是说条目之间需要空行分隔。
不能保证所有的机器人都遵守这些规则。机器人在自愿的基础上遵循这些规则。所以“邪恶”机器人很可能不会在意...
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67580883
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号