首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Python中使用异步调用并行化请求调用

问在Python中使用异步调用并行化请求调用
EN

Stack Overflow用户
提问于 2022-05-13 14:44:31
回答 2查看 228关注 0票数 0

我正在尝试创建一个API接口,我希望可以选择轻松地同步或异步运行请求,我想出了下面的代码。

代码语言:javascript
复制
import asyncio
import requests

def async_run(coro_list):
    loop = asyncio.get_event_loop()
    futures = [loop.run_in_executor(None, asyncio.run, coro) for coro in coro_list]
    result = loop.run_until_complete(asyncio.gather(*futures))
    return result

def sync_get(url):
    return requests.get(url)

async def async_get(url):
    return sync_get(url)

coro_list = [async_get("https://google.com"), async_get("https://google.com")]
responses = async_run(coro_list)
print(responses)

对我来说,调用sync_get或创建一个async_get列表并调用async_run是非常直观的,并且不需要了解异步Python的工作原理。

唯一的问题是,loop.run_in_executor(None, asyncio.run, coro)听起来不太理想,而且我也找不到其他人在Github上运行这段代码。因此,我想知道,是否有一种更简单的方法来实现以类似方式抽象这些threading和asyncio概念的目标,或者这段代码已经是最优的了?

EN

回答 2

Stack Overflow用户

发布于 2022-05-16 18:51:38

  1. asyncio.run()通常用作从code.
  2. loop.run_in_executor(None, asyncio.run, coro)同步运行异步代码的主条目,从而导致在执行器线程中创建的事件循环在coro_list中运行coro。为什么不直接在执行器线程中运行sync_get?

代码语言:javascript
复制
import asyncio
import requests

def async_run(url_list):
    loop = asyncio.get_event_loop()
    futures = [loop.run_in_executor(None, sync_get, url) for url in url_list]
    result = await asyncio.gather(*futures)
    return result

def sync_get(url):
    return requests.get(url)

# 
# async def async_get(url):
#     return sync_get(url)

url_list = ["https://google.com", "https://google.com"]

responses = asyncio.run(async_run(url_list))
print(responses)

  1. 有异步代码,例如。aiohttp和httpx,以完成类似的工作。
票数 0
EN

Stack Overflow用户

发布于 2022-05-21 10:23:41

最后,我选择在我的界面下不完全覆盖asyncio。

不过,我的目标是不必管理2个“请求”函数,我先做了API异步,然后使用asyncio运行同步函数,最后得到了类似的结果。

代码语言:javascript
复制
def sync_request():
  return asyncio.run(async_request(...))

async def async_request():
  return await aiohttp.request(...) # pseudo code
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72231433

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档