老师的帮助技巧是什么？

Question

我读过这的论文，但我很难理解在RNN的上下文中老师的帮助技巧(第3页)。

有人能给我解释一下是什么吗？请假定我在统计学方面没有多少经验。如果这个解释尽可能简单，我会很高兴的(我会更感谢一些例子)。

Answer 1

在正常的RNN中，你可以通过时间的反向传播(BPTT)或老师的强迫进行训练.使用BPTT，网络接收前一时间步骤的输出作为每个时间步骤的输入。在教师强迫中，网络直接接收金数据标记，这就导致了对训练网络的暴露偏差。

使用文本GANs，通常不会将黄金数据提供给生成器，因为生成器正在生成序列，因此没有黄金数据可供使用。

在本文中，它们从实际数据中获取子序列，将它们输入生成器，并让它只生成最终令牌。然后，鉴别器接收实序列前缀和生成的最终令牌的级联。这就是他们所说的“老师帮助”。