Scrapy crawlera身份验证问题

Question

我一直在尝试使用scrapy-crawlera作为使用scrapy抓取一些数据的代理。我在settings.py中添加了以下行：

DOWNLOADER_MIDDLEWARES = { 'scrapy_crawlera.CrawleraMiddleware': 610, } 
CRAWLERA_ENABLED = True 
CRAWLERA_APIKEY = 'MY_CRAWLERA_API_KEY'

在新更改的scrapinghub网站app.zyte.com中，我创建了一个智能代理管理器帐户，我的应用程序接口密钥来自我的帐户设置。

我得到这样的警告：WARNING: Retrying crawlera request for authentication issue，网站没有被抓取。

我是不是做错了什么？

Answer 1

这似乎是一个显而易见的答案，但我有这个问题，并通过确保我使用的API密钥是正确的来解决它。在我的例子中，Zyte发布给我的第一个API密钥没有激活。我返回到我的帐户控制台，并将API密钥复制到那里(这是不同的)。

因此，请确保您使用了正确的密钥，或者尝试在控制台中创建一个新密钥。