Doc2vec:在gensim doc2vec模型中只有10个docvecs？

Question

我使用gensim拟合doc2vec模型，并以标记文档(length>10)作为训练数据。目标是获取所有训练文档的doc向量，但在model.docvecs中只能找到10个向量。

培训数据示例(length>10)

docs = ['This is a sentence', 'This is another sentence', ....]

做一些预处理

doc_=[d.strip().split(" ") for d in doc]
doc_tagged = []
for i in range(len(doc_)):
  tagd = TaggedDocument(doc_[i],str(i))
  doc_tagged.append(tagd)

有标记的文档

TaggedDocument(words=array(['a', 'b', 'c', ..., ],
  dtype='<U32'), tags='117')

拟合doc2vec模型

model = Doc2Vec(min_count=1, window=10, size=100, sample=1e-4, negative=5, workers=8)
model.build_vocab(doc_tagged)
model.train(doc_tagged, total_examples= model.corpus_count, epochs= model.iter)

然后我得到最后的模型

len(model.docvecs)

结果是10..。

我尝试了其他数据集(length>100,1000)，得到了与len(model.docvecs)相同的结果。那么，我的问题是:如何使用model.docvecs获得完整的向量？(不使用model.infer_vector) model.docvecs是否旨在提供所有的培训文档？

Answer 1

bug在这一行中：

tagd = TaggedDocument(doc[i],str(i))

Gensim的TaggedDocument接受标记序列作为第二个参数。当您传递一个字符串'123'时，它会被转换为['1', '2', '3']，因为它被视为一个序列。因此，所有文档都以不同的组合使用10个标记( ['0', ..., '9'] )进行标记。

另一个问题是:您正在定义doc_，并且从未实际使用它，因此您的文档也会被错误地拆分。

以下是正确的解决方案：

docs = [doc.strip().split(' ') for doc in docs]
tagged_docs = [doc2vec.TaggedDocument(doc, [str(i)]) for i, doc in enumerate(docs)]