文章/答案/技术大牛

发布

社区首页 >问答首页 >Pandarellel没有进展并处于死锁状态

问Pandarellel没有进展并处于死锁状态
EN

Stack Overflow用户

提问于 2020-04-20 19:50:36

回答 1查看 388关注 0票数 0

我正在使用具有初始化4核的并行包在pandas数据帧上运行应用函数。但不幸的是，该过程甚至没有处理一条记录。在没有Pandarallel并行功能的情况下，需要3分钟才能完成该过程。

在1000个记录的数据帧上运行实验。实际上我有两百万个数据集，这就是我研究并行的地方。

附加屏幕截图用于相同的

数据集的大小为6 MB，RAM为16 GB。这种僵局的问题可能是什么？

发布于 2020-04-20 23:55:01

在Jupyter中multiprocessing有一些问题。尝试将代码作为脚本或在ipython控制台中运行。如果它可以工作，那么您可以将代码放在一个单独的文件中，并将函数导入到jupyter笔记本中。

# separatefile.py

def multiprocessing_function(params):

在jupyter中

from separatefile import multiprocessing_function

multiprocessing_function(params)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/61321804

复制

相似问题

问Pandarellel没有进展并处于死锁状态EN