文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求

问使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求
EN

Stack Overflow用户

提问于 2020-10-12 14:33:00

回答 1查看 83关注 0票数 1

请问，如何准确配置的CONCURRENCY_REQUEST，CONCURRENCY_REQUEST_PER_DOMAIN，以同时发送多个请求？My DOWNLOAD_DELAY =5，CONCURRENCY_REQUEST_PER_IP =1

当我设置CONCURRENCY_REQUEST =4时，没有时间上的差异，我不明白

scrapy

request

simultaneous

python

concurrency

回答 1

Stack Overflow用户

发布于 2020-10-13 22:12:22

您键入的设置名称有误

scrapy中没有CONCURRENCY_REQUEST、CONCURRENCY_REQUEST_PER_DOMAIN和CONCURRENCY_REQUEST_PER_IP设置。

您需要使用CONCURRENT_REQUESTS、CONCURRENT_REQUESTS_PER_DOMAIN

CONCURRENT_ not CONCURRENCY_

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64312764

复制

相似问题

问使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求
EN