图表示学习中的负抽样

Question

我正在看一个关于图形表示学习的讲座(来自这里)，对于他们如何定义负采样过程，我感到有点困惑。

在介绍 J. Leskovec中，用下面的幻灯片简要描述了著名的技巧

他参考了Y. Goldberg的文章，详细了解了这个公式是如何推导出来的。问题是公式有点不同(乙状结肠中的附加减号)：

此外，在他们的名篇 Mikolov等人定义负抽样的方式相同。

我无法从Leskovec或任何人那里找到任何关于这种差异的解释。有人愿意向我解释这件事吗？

Answer 1

我认为幻灯片中的近似在两方面是不完全正确的：

• Golberg/Levy & Mikolov文件具有丢失函数的权利:在标准二进制分类中，"-“符号位于乙状结肠(\sigma)函数中，您不能在求和之前提取它并将其放在求和之前(这是在考虑渐变时发生的，但这是另一回事)。
• 负抽样(方程的第2行)是用来避免计算softmax (第1行)时有许多类，因为它变得昂贵。然而，它们在数学上不是等价的，即嵌入(\mathbf{z}'s)学到了不同的东西，这就是为什么在word2vec (以及可比较的图嵌入模型中)，当使用每个字/节点的边际概率作为噪声分布P_V时，嵌入最终成为分解点态互信息("PMI"，参见Goldberg/Levy论文)的原因。

(注:负采样是由噪声对比估计(NCE)激发的。它们不是一回事，但经常被混淆，例如https://datascience.stackexchange.com/a/93326/116384.)