Scrapy和硒:让scrapy等待硒？

Question

我有一个蜘蛛，我用它来抓取一个网站。我只需要为我的项目的一部分javascript。所以我用scrapy抓取了站点的一部分，然后在selenium中打开URL。当URL打开时，scrapy仍在继续。如何让scrapy等待我的selenium逻辑完成？

提前谢谢。

Answer 1

您可以在settings.py中使用DOWNLOAD_DELAY = 0.25，即下载器在从同一网站下载连续页面之前应等待。

另一种方法是使用time.sleep()来延迟爬行器，以便从selenium获得响应。