word2vec输出后的模型

Question

我最初是使用一个包字(2克)模型来处理一个分类问题。将2克输出的热编码发送到logistic回归或神经网络建立分类模型。

现在，我正在实验gensim word2vec方法，每个单词现在都是来自word2vec的向量。也就是说，如果我的句子有10个单词，它就会变成一个10x30数组(假设word2vec嵌入维数是30)。我不清楚如何像以前那样把这样的输出发送给逻辑回归或神经网络模型。

在gensim word2vec输出之后，我应该使用哪种类型的模型来解决分类问题？谢谢!

Answer 1

有多种方法，每种方法都包括总结文档中每个单词的嵌入。

在使用像Logistic回归这样的线性模型时，最常见的情况是：

• 最大字向量
• 字向量均值
• 字向量的串联(但意味着固定长度)

然而，重要的是，使用这种方法往往会导致：

• 与使用“一字不差”相比，表现要么相同，要么更差。
• 较少的可解释性(如适用)

原因是信息的丢失(尤其是长文档)。

当使用word嵌入(也就是所谓的word2vec)时，最好的选择通常是使用能够在输入中处理第二个维度的模型。

因此，递归和卷积神经网络已经证明是有效的。前者通过递归地输入单词嵌入在单词级别操作，后者在整个文档级别(如您所提到的n_{words}\times d_{embedding}矩阵所表示)通过带有文档窗口的局部卷积过滤器来操作。