首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Python解释器在异步操作时将控制权交还给C调用者

问Python解释器在异步操作时将控制权交还给C调用者
EN

Stack Overflow用户
提问于 2019-09-14 12:03:58
回答 1查看 63关注 0票数 0

这适用于网络守护进程,其中每个传入的请求都通过一个解释器运行,并具有特定于请求的轻量级堆栈。解释器允许请求在等待阻塞I/O操作时放弃控制。通过这种方式,请求的操作与其他语言中的协程非常相似。单个POSIX线程可能有数千个处于已产生或可运行状态的请求,但只有一个请求在进行中。

使用其他嵌入式语言,如Lua,可以将控制权交还给C调用者。这也是NGINX使用Lua作为其嵌入式脚本语言的原因之一。

我想知道,当Python线程等待异步满足某个条件时,是否有一种方法可以实现与python类似的功能。

我认为让Python向C调用者公开异步条件的细节,并让C调用者在条件满足时通知Python解释器是不现实的。但是,即使Python返回的控制没有关于异步条件的信息,它也可能允许C调用者将多个Python线程状态用作绿色线程。

这个想法是将线程状态附加到每个请求,并让python解释器在特定线程可运行时通知C调用者,从而使请求可运行。最明显(但可能是最糟糕/最幼稚)的方式是让C调用者轮询Python解释器,允许Python检查是否满足任何异步条件,并返回可运行线程状态的列表。然后,C调用者将切换到可运行的线程状态,并调用Python解释器以继续执行。

如果你有任何想法,我将不胜感激。即使知道Python协程是否可能屈从于C调用者,并让C调用者恢复协程,也是很有用的。

编辑

建议在单独的进程中运行Python并通过管道或网络套接字向其发送请求没有任何意义。这是作弊。

编辑2

看起来其他人实现了类似于我在Emscripten和Python之间建议的机制。

https://github.com/emscripten-core/emscripten/issues/9279

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-09-16 00:23:50

一个潜在的解决方案是使用asyncio的run_coroutine_threadsafe()函数。

对于每个应用程序线程,都有一个影子Python解释器线程。这些是独立的操作系统线程,它们共享一个解释器,但具有独立的PyThreadState。

在Python线程中,创建一个新的事件循环,将对循环对象的引用写出到一个共享变量,并在安装适当的机制后调用loop.run_forever()来优雅地停止循环。

在应用程序线程中,包装对要在协程中运行的Python脚本的模块调用,并使用asyncio.run_coroutine_threadsafe()将它们提交给Python解释器线程(使用来自共享变量的句柄)。应用程序线程向它通过add_done_callback接收的Future添加一个回调。然后产生应用程序请求,这意味着它的执行被挂起,并且应用程序线程可以处理新的应用程序请求。

add_done_callback回调调用一个应用程序C函数,该函数向应用程序线程发出特定应用程序请求的处理完成的信号。然后,将应用程序请求放回应用程序的可运行队列中,以便继续执行。

在我有了一个完整的、完美的解决方案,并且我已经完全测试了有问题的线程不安全方面之后,我会更新答案。但就目前而言,这似乎是一个可行的解决方案。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57932347

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档