为Scrapy定制Crawlera禁令规则

Question

我正在更新一个(以前的)工作网站爬虫。看来我一直在爬行的网站已经引入了更严格的禁令规则，所以我已经开始用Crawlera来规避这个问题。

我目前遇到的问题是，目标网站正在使用一种非标准的禁止方法，即对标准html页面执行302。Crawlera并没有发现这是一个禁令，并立即停止爬行。有什么方法我可以定制什么Crawlera检测到的禁令，或者我需要研究另一种方法？

Answer 1

我认为您可以要求他们将该规则插入到他们的系统中，并且根据您的计划，他们应该为您提供一种自定义您自己的规则的方法(尽管如此，您仍然可以请求他们的支持，我不完全确定)。

我会说这是您最好的选择，如果不是，我建议创建您自己的Downloader Middlewares，以便在重定向发生时重新尝试。当crawlera被禁止时，他们所做的就是重试n更多次(您也可以在头上设置它)，因此您必须设置重试以0，并根据得到的响应处理这些重试。