syn1neg & syn0作为输出创建

Question

作为在~1GB的语料库上创建Word2Vec模型的输出，我得到了3个文件作为输出：

• word2vec_model
• word2vec_model.syn1neg.npy
• word2vec_model.wv.syn0.npy

我过去只有第一个文件(当训练一个较小的语料库)。

加载模型时，我应该如何处理最后两个文件？我是否应该像往常一样只加载第一个并对其运行查询？

Answer 1

当gensim模型的内部数组超过某个阈值时，它们将成为save()d作为单独的文件，这既提高了效率，又避免了普通pickle()编程的限制。

您应该将这些文件与主文件一起保存-例如，将它们与主文件一起移动。但是您只需要load()主文件名--最初提供给save()的名称。然后，它将自动找到附属文件。