将Python多处理限制为每个内核10%？

Question

我有一个循环，我一直在努力加快速度。我注意到Python只使用了一个内核，所以我导入了多处理包并设置了一个池。现在，整个过程分布在多个核心上，但它们似乎被限制在10%左右。

这是预期的/最佳的吗？或者，有没有办法从每个核心中利用更多？

​

​

代码：

from multiprocessing.dummy import Pool as ThreadPool

//...more code here...

pool = ThreadPool(os.cpu_count())
pool.starmap(getSubject, zip(range(1, Nsub)))
pool.close()
pool.join()

ps。在使用Pool之前，htop会显示一个内核为100 %，其他内核为~0 %。

Answer 1

multiprocessing.dummy.Pool是一个线程池。由于GIL，您不会充分使用多个内核。如果您希望使用进程，请将其更改为multiprocessing.Pool。

请注意，内核的总使用率还取决于getSubject到底做了什么。如果您正在进行一些同步(例如锁定)，那么您可能也会看到性能损失。