如何将数据传递给scrapinghub？

Question

我正试图在scrapinghub上运行一个scrapy spider，我想传递一些数据。我正在使用他们的API来运行爬虫：

http://doc.scrapinghub.com/api/jobs.html#jobs-run-json

他们有一个job_settings选项，这似乎是相关的，但是我不知道如何访问我的Spider类中的job_settings数据。这里的正确方法是什么？

Answer 1

此job_settings应直接合并到Scrapy settings中，具有更高的优先级( 40、IIRC)。

可以通过爬虫实例的.settings属性访问Scrapy设置，例如，如果self是scrapy.Spider实例，则可以使用self.settings。