PV-DBOW是如何工作的？

Question

段落向量纸的作者用以下方式描述PV：

2.3。不带词序的段落向量:上述方法考虑了段落向量与单词向量的连接，以预测文本窗口中的下一个单词。另一种方法是忽略输入中的上下文词，而是强制模型预测输出中段落中随机抽取的单词。实际上，这意味着在随机梯度下降的每一次迭代中，我们采样一个文本窗口，然后从文本窗口中抽取一个随机单词，并在给定段落向量的情况下形成一个分类任务。

我有几个问题：

1. 为什么要在随机抽取单词之前先对文本窗口进行抽样？要创建批处理，为什么不能从表单[(1, "cat"), (1, "sat"), ..., (1, "mat"), (2, "humpty"), (2, "dumpty"), ... (2, "wall"), ...]的列表中随机抽样，其中每个元组中的第一个项目代表段落？
2. 如果使用层次化的softmax或负采样，是否仍然使用随机梯度下降来更新网络中的权重？还是这些优化方法本身？
3. 为了推断新段落的表达方式，该模型是否仅针对该段中抽样的词语进行了培训？

Answer 1

1. 段落向量通过使用段落中的单词信息进行训练。如果我们随机抽样，而不像你建议的那样区分段落，那么段落向量将在向量空间中被调整，换句话说，这不是段落的组成部分。因此，它将通过不相关的句法和语义信息映射/投射段落向量。
2. 分层软极和负采样都不是基于梯度的优化器.这些方法只需调整/改变目标函数，训练就更容易、更快。
3. 我不确定但我认为这不可能。检查这个：doc2vec -在PV-DBOW中推理步骤是如何工作的？