Gensim训练word2vec和Fasttext

Question

我需要用word2vec和快速文本来训练我自己的模型。通过阅读不同的来源，我发现了不同的信息。所以我做了模型然后像这样训练它：

model = FastText(all_words, size=300, min_count= 3,sg=1)
model = Word2Vec(all_words, min_count=3, sg = 1, size = 300 )

所以我读到，这应该足以创造和训练模型。但后来我发现，有些人是这样做的：

model = FastText(size=4, window=3, min_count=1)  # instantiate
model.train(sentences=common_texts, total_examples=len(common_texts), epochs=10)  # train

现在我很困惑，不知道我所做的是否正确。有人能帮我说清楚吗？谢谢

Answer 1

当您实例化模型对象时，提供您的训练语料库all_words是完全可以接受的。在这种情况下，模型将使用该数据自动执行训练模型所需的所有步骤。所以你可以这么做：

model = Word2Vec(all_words, ...)  # where '...' is your non-default params

在实例化模型时不提供语料库也是可以接受的，但是模型非常小，只有初始参数。它仍然需要发现相关的词汇表(这需要对培训数据进行一次传递)，然后分配一些不同的内部结构来容纳这些单词，然后进行实际的培训(这需要对培训数据进行多次额外的传递)。

因此，如果在实例化模型时不提供语料库，则应该执行两个额外的方法调用：

model = Word2Vec(...)  # where '...' is your non-default params
model.build_vocab(all_words)  # discover vocabulary & allocate model
# now train, with #-of-passes & #-of-texts set by earlier steps
model.train(all_words, epochs=model.iter, total_examples=model.corpus_count)

我展示的这两个代码块是等价的。顶部为您执行通常的步骤；底部将这些步骤拆分到显式控件中。

(您在问题中摘录的代码(只向显示是一个.train()调用)将因多种原因而出错。.build_vocab()是拥有一个完全分配模型的必要步骤，对.train()的调用必须明确说明所需的epochs和精确计数语料库中项目数的total_examples。但是，您可以而且通常应该重用前面两个步骤已经缓存到model中的值。)

你可以选择使用哪种方法。通常，如果人们希望在这些步骤之间执行其他输出/日志记录，或者在这些步骤之间进行一些可能会篡改模型状态的高级操作，那么人们只会使用三个单独的步骤。