Facebook和Facebook robots.txt中的延迟？
Facebook和Facebook robots.txt中的延迟？
提问于 2011-10-10 21:50:06
Facebook的网络爬行机器人(例如脸书外挂/*)是否尊重robots.txt文件中的Crawl-delay:指令？
回答 2
Webmasters Stack Exchange用户
发布于 2013-11-22 11:45:23
同样的问题是询问堆栈溢出。
答案是Facebook刮板不服从robots.txt，也不支持爬行延迟。您可以期望的最好方法是实现某种服务器端的节流。已经提供了一些代码作为堆栈溢出的答案之一。
Webmasters Stack Exchange用户
发布于 2012-11-13 09:31:13
Facebook没有一个能在互联网上搜索的机器人。他们只跟踪事件在您的网站时，与他们的图形API绑定。
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/20825
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号