如何向另一个具有不同设置的爬行器生成Scrapy请求？

Question

这个问题本质上和Pass scraped URL's from one spider to another是一样的，但是我想仔细检查一下是否有“原生的”方法来解决这个问题。

我正在抓取网页，99%的时间都可以成功抓取，而不需要渲染JavaScript。但是，有时此操作会失败，并且某些Field不存在。我想写一个带有item_scraped方法的Scrapy Extension，该方法检查是否所有预期的字段都已填充，如果没有，则生成一个包含开机启动设置的custom_settings的不同爬行器的SplashRequest。https://blog.scrapinghub.com/2015/03/02/handling-javascript-in-scrapy-with-splash/)。

有没有不使用外部服务(比如Redis)就能做到这一点的Scrapy方法？

Answer 1

启用scrapy splash只会使SplashRequest工作，它不会影响常规的scrapy.Request (如果request.meta中没有“splash”)。

您可以包含开机启动设置，但仍会生成scrapy.Request -它们将在没有开机启动的情况下处理。