问Crawlera、cookies、会话、速率限制
EN

Stack Overflow用户

提问于 2019-09-09 20:47:34

回答 1查看 523关注 0票数 0

我正在尝试使用scrapinghub抓取一个严重限制请求率的网站。

如果我按原样运行爬行器，我很快就会得到429。

如果我按照standard instructions启用爬虫，蜘蛛就不再工作了。

如果我设置headers = {"X-Crawlera-Cookies": "disable"}，爬行器会再次工作，但我得到429 --所以我假设限制器(也)对cookie起作用。

那么这里会有什么方法呢？

发布于 2019-09-10 03:21:13

您可以尝试RandomUserAgent，如果您不想编写自己的实现，可以尝试使用以下代码：

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57854366

复制

相似问题

问Crawlera、cookies、会话、速率限制EN