使用Pool类在Python中进行多处理

Question

我想在windows(zeppelin notebook)中使用python中的多进程(特别是Pool类)。但在阅读了很多内容后，我了解到Pool类在其后端使用了pickle，并且只能用于可以进行pickle的对象。因为我不能在Python3.6版本中使用pickle来序列化函数或类，所以我发现pathos.multiprocessing库可以用来执行多处理，因为它在后端使用dill而不是pickle，根据dill包文档，pickle可以序列化任何东西。但是当我使用它的时候，我得到了错误。下面是我使用的简单代码：

import pathos.multiprocessing as mp

def cube(x):
    return x**3

p = mp.Pool(4)

p.apply(cube, [1,2,3])

下面是我得到的错误：

py4j.protocol.Py4JError: An error occurred while calling o0.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)
    at py4j.Gateway.invoke(Gateway.java:279)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:209)
    at java.lang.Thread.run(Thread.java:748)

即使我使用map、apply_async或map_async，也会得到相同的错误。有人能帮我找出问题所在吗。

提前感谢

Answer 1

另外，如果我使用类似于this的代码：

import multiprocessing as mp

def cube(x):
    return x**3

if __name__ == '__main__':
    p = mp.Pool(4)
    p.apply(cube, [1,2,3])

我没有看到任何返回的输出。不确定问题是什么。