Gensim分割故障

Question

我也在Gensim支持论坛上研究了Google，但我找不到一个好的答案。

基本上，我正在使用Gensim实现Doc2Vec的在线学习，但是Gensim一直抛给我一个随机的错误，称为“分割”

请看一下我的示例代码

from gensim.models import Doc2Vec
from gensim.models.doc2vec import LabeledSentence
import random
import logging

if __name__ == "__main__":
    logging.basicConfig(level=logging.INFO)

    sentence1 = "this is a test"
    sentence2 = "test test 123 test"
    sentence3 = "qqq zzz"
    sentence4 = "ppp"

    sentences = [
        LabeledSentence(sentence1.split(), ["p1"]),
        LabeledSentence(sentence2.split(), ["p2"])
    ]
    model = Doc2Vec(min_count=1, window=5, size=400, sample=1e-4, negative=5, workers=1)
    model.build_vocab(sentences)

    for a in range(2):
        random.shuffle(sentences)
        print([s.tags[0] for s in sentences])
        model.train(sentences)
    model.save("test.d2v")

    new_model = Doc2Vec.load("test.d2v")
    new_sentences = [
        LabeledSentence(sentence1.split(), ["n1"]),
        LabeledSentence(sentence3.split(), ["n2"])
    ]
    new_model.build_vocab(new_sentences, update=True)

    for a in range(4):
        random.shuffle(new_sentences)
        print([s.tags[0] for s in new_sentences])
        new_model.train(new_sentences)

这是我的错误

INFO:gensim.models.word2vec:training model with 1 workers on 7 vocabulary and 400 features, using sg=0 hs=0 sample=0.0001 negative=5 window=5
INFO:gensim.models.word2vec:expecting 2 sentences, matching count from corpus used for vocabulary survey
Segmentation fault

有人能给我解释一下原因吗？如何解决这个问题呢？

谢谢

Answer 1

分段错误-即非法内存访问-应该几乎不可能从Python代码中触发。这表明这可能是特定于您的安装/配置的问题- OS、Python、gensim、支持库-甚至是损坏的文件。

尝试清除并重新安装Python环境和支持库(如NumPy和SciPy)，并确认一些与gensim捆绑在一起的示例运行时没有分段错误-例如docs/notebooks/doc2vec-lee.ipynb中的notebook。如果捆绑的示例或您自己的代码仍然出现此类错误，请打开调试日志记录，捕获所有输出，并在您的OS/Python/gensim/etc版本上以完整的详细信息报告问题。