光伏DBOW (doc2vec)是如何工作的？

Question

官方doc2vec论文“句子和文件的分布式表述”对PV的解释如下：

另一种方法是忽略输入中的上下文词，而是强制模型预测输出中段落中随机抽取的单词。实际上，这意味着在随机梯度下降的每一次迭代中，我们采样一个文本窗口，然后从文本窗口中抽取一个随机单词，并在给定段落向量的情况下形成一个分类任务。

根据本文的说法，单词向量不被存储，PV的工作原理类似于word2vec中的跳过图。

Skip-gram在word2vec 2vec参数学习中有解释.在跳格模型中，将单词向量映射到隐藏层。在培训期间，将更新执行此映射的矩阵。在PV中，隐藏层的维数应该是一个段落向量的维数。当我想用段落向量乘以样本中的单词向量时，它们的大小应该是相同的。单词的原始表示形式是大小(词汇表大小x1)。执行哪些映射以获得隐藏层中的正确大小(段落维x1)。当没有存储单词向量时，这个映射是如何执行的呢？我假设单词和段落表示应该在隐藏层中具有相同的大小，因为在2中等式26。

Answer 1

我还没看过你链接的报纸，但我注意到了理查德·索彻的课堂讲稿。

因此，基本上映射矩阵被称为权矩阵。输入输出映射有两个加权矩阵W1和W2。因此，对于每个字，通过反向传播更新两个矩阵中的向量。

为了回答你的问题，一个单词由一个热稀疏向量表示，它的大小为Vx1 (V是词汇表的大小)，其中一个位置的值为1。当该向量与权重矩阵W1与尺寸为NxV的权矩阵相乘时，在隐藏层中使用尺寸为Nx1 (N为所需嵌入向量的大小)的相应嵌入向量。

文档没有单一的热表示向量。因此，基本上有一个大小为D的文档矩阵Nxd (d是文档的数量)，其中每一列代表一个文档。换句话说，矩阵W1和W2只需要对数学步骤进行一次热表示，而不是将每一列中的每个单词表示为文档矩阵D。