如何使用快速文本向量化整个文本？

Question

要获取单词的向量，我可以使用：

model["word"]

但是如果我想得到一个句子的向量，我需要对所有单词的向量求和，或者得到所有向量的平均值。

FastText是否提供了这样做的方法？

Answer 1

如果你想计算句子或段落的向量表示，请使用：

$ ./fasttext print-sentence-vectors model.bin < text.txt

这假设text.txt文件包含您要为其获取矢量的段落。程序将在文件中的每一行输出一个矢量表示。

在fasttext repo的自述文件中已经明确提到了这一点。https://github.com/facebookresearch/fastText

Answer 2

你也可以使用python包装器。使用官方安装指南进行安装，网址为：https://fasttext.cc/docs/en/python-module.html#installation

在那之后：

import fasttext
model = fasttext.load_model('model.bin')
vect = model.get_sentence_vector("some string") # 1 sentence
vect2 = [model.get_sentence_vector(el.replace('\n', '')) for el in text] # for text

Answer 3

若要使用快速文本获取句子的向量，请尝试执行以下命令

$ echo "Your Sentence Here" | ./fasttext print-sentence-vectors model.bin

有关这方面的示例，请参阅Learn Word Representations In Fasttext