word2vec -什么是最好的？添加、串联或平均字向量？

Question

我正在研究一种反复出现的语言模式。为了学习可以用于初始化我的语言模型的单词嵌入，我使用gensim的word2vec模型。经过训练，word2vec模型对词汇表中的每个单词包含两个向量:单词嵌入(输入/隐藏矩阵行)和上下文嵌入(隐藏/输出矩阵列)。

正如这个职位中所概述的，至少有三种共同的方法来组合这两个嵌入向量：

1. 每个单词的上下文和单词向量之和
2. 求和平均
3. 连接上下文和单词向量

然而，我找不到关于最佳策略的适当文件或报告。所以我的问题是：

1. 是否有一个共同的解决方案，无论是和，平均还是串联向量？
2. 还是最好的方式完全取决于所讨论的任务？如果是这样的话，什么样的策略最适合于一个字级语言模型？
3. 为什么要把向量组合起来呢？为什么不对每个单词使用“原始”词嵌入，即包含在输入和隐藏神经元之间的权重矩阵中的嵌入。

相关问题(但尚未回答)：

• word2vec:内外向量的求和/级联
• 为什么我们用输入-隐藏权矩阵代替隐输出权矩阵作为单词向量？

Answer 1

我在斯坦福大学的讲座“自然语言处理的深度学习”(2016年3月第2课)中找到了答案。这是可用的这里。在第46分钟，Richard说，常见的方法是平均，两个字向量。

Answer 2

您应该至少阅读一次这的研究工作，以获得使用不同的代数运算符组合单词嵌入的整个想法。这是我的研究。

在本文中，您还可以看到其他组合字向量的方法。

简单地说，-归一化平均字向量和词和是很好的表示。。

Answer 3

我不知道有什么工作可以用经验性的方法来检验这两个向量的组合方式，但是有一篇很有影响力的论文比较: 1)只使用单词向量，2)将单词和上下文向量相加。论文在这里：https://www.aclweb.org/anthology/Q15-1016/。

首先，注意度量是类比和相似测试，而不是下游任务。

以下是该报的一段引文：

对于SGNS和GloVe，值得尝试w+c变量加单词和上下文向量，这是廉价的(不需要再培训)，可以带来巨大的收益(以及巨大的损失)。

所以我想你只需要在你的具体任务上试一试。

顺便提一下，这里有一篇关于如何从gensim：链接获取上下文向量的文章