手套中坐标矩阵的权值

Question

我当时正在研究手套背后的理论，并且正在检查它的一些实现。在将数据传递给它的神经网络之前，我注意到，共现矩阵的权重不是目标和上下文单词之间的计数，而是用从目标到上下文单词的某个dist加权的矩阵。例如：

原装手套在第332行

毕道尔手套在第61和63行

在纸中，作者定义了X_{ij}，就像单词j在单词i前面的上下文计数一样。

为什么实现中的协现矩阵权值与此距离值相同？而不是它们之间的计数。

Answer 1

是否进行距离加权是GloVe代码中的一个选项(但在C代码中默认打开，并在我们的实验中使用)。这一点在彭宁顿等人的第4.2节中得到了讨论和激励。文件，但我同意，它是作为一个细节，而不是在原来的论述。word2vec代码进行了类似但不同的距离加权。IIRC，在他们的论文中根本没有提到，而是在本文中进行了讨论(sec 3.1)：https://aclanthology.org/Q15-1016.pdf