我在我的Selenium中使用克劳莱拉。
但我只需要使用法国的IP。
如何配置我的爬虫来完成这个任务。
custom_settings = {
'DOWNLOADER_MIDDLEWARES' : {'scrapy_crawlera.CrawleraMiddleware': 600},
'CRAWLERA_ENABLED' : True,
'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
'COOKIES_ENABLED' : True,
}发布于 2016-07-13 14:52:58
您必须访问http://app.scrapinghub.com上的Crawlera仪表板,并创建一个单独的用户,将'fr‘设置为区域。然后,在蜘蛛中使用新的API密钥。
https://stackoverflow.com/questions/38352248
复制相似问题