看起来我走进了死胡同。有没有办法在asyncio循环中运行scrapy spider?例如,在以下代码中:
import asyncio
from scrapy.crawler import CrawlerProcess
from myscrapy import MySpider
import scrapy
async def do_some_work():
process = CrawlerProcess()
await process.crawl(MySpider)
loop = asyncio.get_even_loop()
loop.run_until_complete(do_some_work())这导致了我的错误:
raise TypeError('A Future, a coroutine or an awaitable is required')
TypeError: A Future, a coroutine or an awaitable is required我确实理解,在等待之后,应该有另一个协程。有没有办法绕过它,同时仍然让它异步工作?谢谢
发布于 2019-01-31 18:50:36
Scrapy目前不支持async语法。
如果您需要在基于异步的代码中运行Scrapy,则需要像在异步函数中运行任何其他同步代码一样对其执行run Scrapy as a script。
也就是说,这是未来可能会出现的东西。在这个方向上已经有了Google Summer of Code proposal,也有了ongoing discussion on the topic。
发布于 2018-01-28 11:53:56
整个scrapy都是同步代码。当阻塞发生时,没有异步机制(协程)将正在运行的资源转回select循环。主要的阻塞是网络请求。scrapy使用的库不支持异步。所以,也许你可以打开一些垃圾源代码来实现asyncio或者aiohttp来替换原来的网络库,这是可行的。然而,在这些库之上,还有复杂的扭曲模块。(有点像asyncio,虽然没有asyncio那么快,因为Python2).Probably让它比从头开始用asyncio构建一个新的框架更困难。
https://stackoverflow.com/questions/47623836
复制相似问题