首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在asyncio甚至循环内运行scrapy spider?

问如何在asyncio甚至循环内运行scrapy spider?
EN

Stack Overflow用户
提问于 2017-12-04 06:05:51
回答 2查看 2.4K关注 0票数 5

看起来我走进了死胡同。有没有办法在asyncio循环中运行scrapy spider?例如,在以下代码中:

代码语言:javascript
复制
import asyncio
from scrapy.crawler import CrawlerProcess
from myscrapy import MySpider
import scrapy

async def do_some_work():
    process = CrawlerProcess()
    await process.crawl(MySpider)

loop = asyncio.get_even_loop()
loop.run_until_complete(do_some_work())

这导致了我的错误:

代码语言:javascript
复制
raise TypeError('A Future, a coroutine or an awaitable is required')
TypeError: A Future, a coroutine or an awaitable is required

我确实理解,在等待之后,应该有另一个协程。有没有办法绕过它,同时仍然让它异步工作?谢谢

EN

回答 2

Stack Overflow用户

发布于 2019-01-31 18:50:36

Scrapy目前不支持async语法。

如果您需要在基于异步的代码中运行Scrapy,则需要像在异步函数中运行任何其他同步代码一样对其执行run Scrapy as a script。

也就是说,这是未来可能会出现的东西。在这个方向上已经有了Google Summer of Code proposal,也有了ongoing discussion on the topic。

票数 1
EN

Stack Overflow用户

发布于 2018-01-28 11:53:56

整个scrapy都是同步代码。当阻塞发生时,没有异步机制(协程)将正在运行的资源转回select循环。主要的阻塞是网络请求。scrapy使用的库不支持异步。所以,也许你可以打开一些垃圾源代码来实现asyncio或者aiohttp来替换原来的网络库,这是可行的。然而,在这些库之上,还有复杂的扭曲模块。(有点像asyncio,虽然没有asyncio那么快,因为Python2).Probably让它比从头开始用asyncio构建一个新的框架更困难。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47623836

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档