问打开图表: Facebook爬虫名称和ip添加到白名单
EN

Stack Overflow用户

提问于 2011-10-01 20:08:22

回答 1查看 1.9K关注 0票数 3

我正在为开放图表发布做准备。

open graph的一个功能是抓取站点的元数据，并为时间线提取相关信息。

我的sitemap.xml运行到for，并受到速率限制和流行爬虫的ip白名单的保护。

谁能给我机器人的名字和ips将爬行facebook吗？这不仅适用于sitemap.xml，也适用于一般的速率限制(整个站点)白名单。

回答已采纳

发布于 2011-10-01 22:38:03

当前的用户代理是：facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

脸书发布了他们的IP range here。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/7620128

复制

相似问题

问打开图表: Facebook爬虫名称和ip添加到白名单EN