GloVe向量表示同态问题

Question

在论文“GloVe:字表示的全局向量”中，有一部分(第三页的底部)我不明白：

我明白什么是群和同态。我不明白的是，在$ (mathbb{R}，+) $和$(mathbb{R}>0}，\倍)$之间需要$F$才是同态，$$F$对称是$w$和$ \tilde{w}_k $之间的同态。

我是不是误会了什么？如果我们交换$ w_i $和$ \tilde{w}_k $或$\tilde$ w_j $和$ \tilde{w}_k $，我们希望$F$保持不变，对吗？这是实现$ w$和$ \tilde{w}_k $之间对称性的唯一方法吗？

Answer 1

如果你问的是，群同态是否使这个过程对称，那么不，它不是直接的。但是，它们利用一个群同态来证明$w_{i}^{T} \tilde{w}_k = log(P_{ik})=log(X_{ik}) - log(X_{i})$这几乎给我们对称性。最后，通过在方程中添加$\tilde{b}{k}$，可以恢复对称性。

因此，简单地说，$w_{i}^{T} \tilde{w}_k + b_{i} +\tilde{b}{k}= log(X_{ik})$是保证对称性的因素，而群同态是达到这一目标的工具。

更新：

更多的细节--本质上说，我们想要的是能够改变标签开关的能力。群同态有助于这个过程，因为它在$(R，+)$和$(R，x)$之间进行映射。

$F((w_{i}^{T} -w_{j}^{T})w_{k}^{‘})=F(w_{I}^T}w_{k}^{}+(-w_{j}^{T}{k}^{}})=F(w_{I}{T}w_{k}^{}})乘以F(-w_{i}^{T}^w_{k}{k}^{'} = F(w_{i}^{T}) \乘以F(w_{j}^{T}w_{k}^{})^{-1}=w_

这里的群同态允许发生这种情况。因此，通过设置$F(w_{i}^{T}w_{k}^{i}) =\frac{X_{ik}{X_{i}$，可以看出这一点。

最后，我们可以说$w_{i}{T}{w}_k^{}= log(P_{ik})=log(X_{ik}) - log(X_{i}).$

因此，就你的评论而言，这是他们的方法最明智的选择，也是他们把核心数学推广到GloVE的最明智的选择。改变它，我想这不是一件微不足道的事情。我想，如果你这样做了，推导出来的大部分内容，包括损失函数都会改变。但话虽如此，我想还有其他方式来实现标签转换。