首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于迁移现有代码库的线程中的Python异步

问用于迁移现有代码库的线程中的Python异步
EN

Stack Overflow用户
提问于 2020-08-10 15:12:34
回答 1查看 256关注 0票数 1

我们有一个相当大的项目,它正在执行大量的网络(API调用,Websocket消息),并且有许多内部作业在线程中间隔地运行。我们目前的体系结构涉及到产生大量线程,而当系统负载很大时,应用程序不能很好地工作,所以我们决定尝试一下异步。

我知道最好的方法是将整个代码库迁移到异步代码,但这在不久的将来是不现实的,因为代码库的大小和有限的开发资源。但是,我们希望开始迁移代码库的部分,以使用异步事件循环,并且希望我们能够在某个时候转换整个项目。

到目前为止,我们遇到的问题是整个代码库都有同步代码,为了在其中添加非阻塞异步代码,代码需要在不同的线程中运行,因为您不能在同一个线程中真正运行异步代码和同步代码。

为了将异步代码和同步代码结合起来,我想出了在app start上创建的一个单独线程中运行异步代码的方法。代码的其他部分只通过调用add_asyncio_task将作业添加到这个循环中。

代码语言:javascript
复制
import threading
import asyncio
_tasks = []

def threaded_loop(loop):
    asyncio.set_event_loop(loop)
    global _tasks
    while True:
        if len(_tasks) > 0:
            # create a copy of needed tasks
            needed_tasks = _tasks.copy()
            # flush current tasks so that next tasks can be easily added
            _tasks = []
            # run tasks
            task_group = asyncio.gather(*needed_tasks)
            loop.run_until_complete(task_group)


def add_asyncio_task(task):
    _tasks.append(task)

def start_asyncio_loop():
    loop = asyncio.get_event_loop()
    t = threading.Thread(target=threaded_loop, args=(loop,))
    t.start()

在app.py的某个地方:

start_asyncio_loop()

以及代码中的任何其他地方:

add_asyncio_task(some_coroutine)

由于我对异步通信是新手,我想知道在我们的情况下,这是一个好的方法,还是这个方法被认为是反模式,并有一些问题,将在以后的道路上打击我们?或者异步电脑已经有了一些解决方案,而我只是在尝试发明这个轮子?

谢谢你的投入!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-08-10 15:41:00

总的来说,这一方法很好。不过,你有一些问题:

(1)

(2)代码本身并不是线程安全的。如果任务出现在needed_tasks = _tasks.copy()之后但出现在_tasks = []之前怎么办?你需要锁在这里。顺便说一句,复制是毫无意义的。简单的needed_tasks = _tasks就可以了。

(3)一些异步结构是线程安全的。使用它们:

代码语言:javascript
复制
import threading
import asyncio

# asyncio.get_event_loop() creates a new loop per thread. Keep
# a single reference to the main loop. You can even try
#   _loop = asyncio.new_event_loop()
_loop = asyncio.get_event_loop()

def get_app_loop():
    return _loop

def asyncio_thread():
    loop = get_app_loop()
    asyncio.set_event_loop(loop)
    loop.run_forever()

def add_asyncio_task(task):
    asyncio.run_coroutine_threadsafe(task, get_app_loop())

def start_asyncio_loop():
    t = threading.Thread(target=asyncio_thread)
    t.start()
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63342953

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档