python中并行性的选择

Question

似乎有许多并行化Python的选项。以下是我所看到的选择：

共享内存:热存储、多处理、joblib、cython.parallel

分布式内存: mpi4py，并行pp (pp)

有任何数据自动化系统，OpenCL选项吗？

有人有使用这些或其他并行库的经验吗？他们之间的比较如何？我特别感兴趣的是在科学计算领域的计算密集型应用中使用python。

Answer 1

据我所知，pyPar和/或pyMPI是科学领域中计算密集型应用程序中最常用的两个库。

pyPar更容易使用，而pyMPI则更完整--因此，第一种更频繁地用于不太复杂的计算。

Iirc，它们只是相关C库的python包装器，使它们成为使用的性能最高/效率最高的库。

Answer 2

有任何数据自动化系统，OpenCL选项吗？

无论如何，中国数据自动化系统( CUDA )还有pyCUDA。

还有pyOpenCL。(我对OpenCL不太熟悉，可能还有其他人。)

这里有pyCUDA和pyOpenCL标签。

pyCUDA和pyOpenCL基本上是AFAIK的“包装器”，但目前还不清楚您到底在寻找什么--您的范围似乎很广。