python多处理cPickle.PicklingError

Question

下面是我使用多处理模块的池的并行代码。这里，参数d是一个元组，其word_number是一个整数，而word_count是一个文档。

def perDoc(d):
    score = 0.0
    word_count = d.word_count
    word_number = d.word_number
    for i, word in enumerate(q):
        if word not in corpus_query_min:
            continue
        if word not in word_count:
            frequency = 0
        else:
            frequency = word_count.get(word)
        score += np.log(np.float(frequency + miu * corpus_word_count[i]/corpus_number)/
                    (word_number + miu))
    #loglh[d.docID] = score
if __name__ == '__main__':
    pool = Pool(4)
    pool.map(perDoc, doc_query_list)
    pool.close()

我犯了这样的错误：

cPickle.PicklingError: Can't pickle <class '__main__.doc_'>: attribute lookup __main__.doc_ failed

这是我的参数d是带文档的元组的问题吗？

Answer 1

心灵调试，因为你提供了更多的信息(但仍然没有MCVE)：

您创建doc_tuple的类时：

doc_tuple = collections.namedtuple('doc_', ... attributes here ...)

传递的字符串名称('doc_')与分配给它的名称(doc_tuple)之间的不匹配导致了这个问题；两个名称必须匹配才能选择namedtuple的实例。改为：

# Binding matches name passed to namedtuple constructor now
doc_tuple = collections.namedtuple('doc_tuple', ... attributes here ...)

并确保它是在模块的顶层(而不是在另一个类或函数中)定义的，并且应该能够工作。

Answer 2

如果您的脚本中有一个import ipdb，请删除它。