我在互联网上到处寻找解决方案,但没有找到任何解决方案。我正在使用captcha解决api来解决scrapy-splash中的captcha,但是当captcha页面出现时,scrapy在尝试抓取下一页时向api发送请求。这是由于并发造成的。我试过CONCURRENT_REQUESTS=1,但结果是一样的。我试过设置等待和暂停引擎,但在大多数情况下,两个或更多线程完全在同一行到达,因此当第一线程暂停引擎时,2个或更多线程也会暂停引擎并尝试解决验证码。有没有人能提点建议来解决这个问题?
对不起,如果你不明白,请评论你的任何问题,我会在几秒钟内回复
发布于 2019-12-17 23:39:44
对API调用使用阻塞HTTP客户端库(例如,请求)。
https://stackoverflow.com/questions/59368079
复制相似问题