变压器无反馈

Question

关于变压器的新问题。

我指的是https://arxiv.org/pdf/1706.03762.pdf的报纸。

图1(右下角)表示：“输出(右移)”。在我看来，在生成(而不是训练)期间，网络的第n输出似乎是通过消耗n-1输出来计算的，可能还包括更早的输出条目。我的理解正确吗？

如果是这样的话，那将是一个反馈，不是吗？但是为什么说变压器是前馈的呢？是因为训练中的输出是“只读”的吗？说变压器在发电时有反馈是正确的吗？

Answer 1

你的理解是正确的：

• 在培训期间，金币被用作解码器的输入，而不是预测；这就是为什么“没有反馈”的原因。这被称为“教师强迫”，这是训练序列预测模型的常用方法，也适用于LSTMs和其他RNN。
• 在推理(文本生成)期间，将先前的令牌预测作为输入输入到解码器。因此，有反馈。要预测第一个令牌，输入是表示序列开始(bos)的特殊令牌。