使用nltk.corpus多线程

Question

我想在多线程环境中访问nltk.corpus.wordnet。一旦启用多线程，synsets()之类的方法就会失败。如果我禁用它，一切都会正常的。

错误信息会改变。例如，错误可能如下所示，这在我看来非常类似于竞赛条件：

File "/home/lhk/anaconda3/envs/dlab/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py", line 1342, in synset_from_pos_and_offset
    assert synset._offset == offset

这方面还有其他问题：

• 这里的问题也是由多线程：What would cause WordNetCorpusReader to have no attribute LazyCorpusLoader?引起的。
• 这个问题有一个更一般的标题，但似乎描述了相同的问题(多线程语料库加载失败)：Python NLTK multi threading
• 这方面有一个问题：https://github.com/nltk/nltk/issues/1576

第一个链接问题的解决方案是在程序分支到单个线程之前加载该语料库。我已经这样做了：wordnet.ensure_loaded()是在多线程之前调用的。

GitHub问题中的建议是在我的线程函数中导入wordnet。但这改变不了什么。

Answer 1

解决办法是为每一个线程制作一个深层次的语料库。当然，这需要大量的内存，而且效率不高：

import copy
from nltk.corpus import wordnet as wn
wn.ensure_loaded()

# at the beginning of the multi-threaded environment
my_wn = copy.deepcopy(wn)