在什么情况下释放python是安全的？

Question

我编写了一个运行机器学习推理的C++库。这些推理函数通常使用8个线程进行优化，以实现低延迟(尽管仍然需要超过100 of来完成推理调用)。我使用了同步原语(如std::mutex )来确保库是线程安全的。

我还使用pybind11为这个库编写了python绑定。

当前的问题是，在16核/线程CPU上，最好并行运行两个推理函数调用，从而利用所有16个可用线程。这在C++中是很好的，但是在python (使用线程)中，由于GIL，一个推理调用最终持有锁，而另一个不能并行运行。注意，我知道我可以使用多个处理来解决这个问题，但是由于我的库的设计，我想使用线程来代替。

因此，我可以在调用C++ API函数(在python绑定层中)时释放GIL吗?因为C++库实现了必要的线程安全？在释放吉尔的时候还有什么其他的考虑吗？

Answer 1

GIL保护每个Python对象。如果您没有访问任何对象，或者它是对拥有引用的不可变对象的只读访问，那么可以释放它。请务必在重新获取锁后保留对任何将使用的引用，以免它在释放时被销毁。