我们有一个相当大的项目,它正在执行大量的网络(API调用,Websocket消息),并且有许多内部作业在线程中间隔地运行。我们目前的体系结构涉及到产生大量线程,而当系统负载很大时,应用程序不能很好地工作,所以我们决定尝试一下异步。
我知道最好的方法是将整个代码库迁移到异步代码,但这在不久的将来是不现实的,因为代码库的大小和有限的开发资源。但是,我们希望开始迁移代码库的部分,以使用异步事件循环,并且希望我们能够在某个时候转换整个项目。
到目前为止,我们遇到的问题是整个代码库都有同步代码,为了在其中添加非阻塞异步代码,代码需要在不同的线程中运行,因为您不能在同一个线程中真正运行异步代码和同步代码。
为了将异步代码和同步代码结合起来,我想出了在app start上创建的一个单独线程中运行异步代码的方法。代码的其他部分只通过调用add_asyncio_task将作业添加到这个循环中。
import threading
import asyncio
_tasks = []
def threaded_loop(loop):
asyncio.set_event_loop(loop)
global _tasks
while True:
if len(_tasks) > 0:
# create a copy of needed tasks
needed_tasks = _tasks.copy()
# flush current tasks so that next tasks can be easily added
_tasks = []
# run tasks
task_group = asyncio.gather(*needed_tasks)
loop.run_until_complete(task_group)
def add_asyncio_task(task):
_tasks.append(task)
def start_asyncio_loop():
loop = asyncio.get_event_loop()
t = threading.Thread(target=threaded_loop, args=(loop,))
t.start()在app.py的某个地方:
start_asyncio_loop()
以及代码中的任何其他地方:
add_asyncio_task(some_coroutine)
由于我对异步通信是新手,我想知道在我们的情况下,这是一个好的方法,还是这个方法被认为是反模式,并有一些问题,将在以后的道路上打击我们?或者异步电脑已经有了一些解决方案,而我只是在尝试发明这个轮子?
谢谢你的投入!
发布于 2020-08-10 15:41:00
总的来说,这一方法很好。不过,你有一些问题:
(1)
(2)代码本身并不是线程安全的。如果任务出现在needed_tasks = _tasks.copy()之后但出现在_tasks = []之前怎么办?你需要锁在这里。顺便说一句,复制是毫无意义的。简单的needed_tasks = _tasks就可以了。
(3)一些异步结构是线程安全的。使用它们:
import threading
import asyncio
# asyncio.get_event_loop() creates a new loop per thread. Keep
# a single reference to the main loop. You can even try
# _loop = asyncio.new_event_loop()
_loop = asyncio.get_event_loop()
def get_app_loop():
return _loop
def asyncio_thread():
loop = get_app_loop()
asyncio.set_event_loop(loop)
loop.run_forever()
def add_asyncio_task(task):
asyncio.run_coroutine_threadsafe(task, get_app_loop())
def start_asyncio_loop():
t = threading.Thread(target=asyncio_thread)
t.start()https://stackoverflow.com/questions/63342953
复制相似问题