MultiProcessing与self.methods

Question

在方法上使用multiprocessing，我们得到了错误声明self.methods cannot be pickled。

为了克服这个问题，我用了：

def _pickle_method(m):
    if m.im_self is None:
        return getattr, (m.im_class, m.im_func.func_name)
    else:
        return getattr, (m.im_self, m.im_func.func_name)


copy_reg.pickle(types.MethodType, _pickle_method)

现在我搜索了一下，但很少有问题还不清楚：

1. 为什么self.methods不能被腌制？
2. copy_reg.pickle()是如何工作的？如何使self.methods进行酸洗
3. 使用这种方法有什么负面影响，还是有其他更好的方法？

更多信息：

我在一个类中有一个函数，它曾经做过一个request.get和request.post。为了改善时间，我在上面使用了multiprocessing。这正是我所面临的问题。

Can't pickle when using multiprocessing Pool.map()

Answer 1

您的预期用法仍然有点模糊，因此我将在您问题的新的“更多信息”部分展示一种解决linked question的方法，该部分不需要对类方法的字节代码进行筛选。我觉得很明显.

someclass.py

import multiprocessing

def call_method(x):
    return SomeClass().f(x)

class SomeClass(object):
    def __init__(self):
        pass

    def f(self, x):
        return x*x

    def go(self):
        pool = multiprocessing.Pool(processes=4)
        print(pool.map(call_method,  range(10)))
        pool.close()

test.py

import someclass

if __name__== '__main__' :
    sc = someclass.SomeClass()
    sc.go()

输出：

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]