替代TfidfVectorizer

Question

TfidfVectorizer模块的sklearn.feature_extraction.text函数有什么可替代的吗？我听说过fastText和GloVe，但没有找到一个很好的扩展，说明如何使用它来向量化文本。

编辑：基本上我有一个叫做“叙述”的功能，它由英语句子组成。为了将其输入到任何ML算法中，我必须将其转换为数字矩阵表示。TfIdf是一种方法。我还有别的办法可以试试吗？(可能或不可能在滑雪板下)

Answer 1

您正在寻找的是所谓的文本嵌入，例如见这。本质上，对于您的叙事功能，您希望将序列转换为向量，因此是seq_to_vec。TfIdf只是最简单的方法之一，它会产生稀疏(更多的组件是=0，而不是0)。我建议你把这里看作一个好的起点。