为什么fairseq中的非自回归变换模型需要prev_output_tokens输入？

Question

整流罩包括一个非自回归转换器的实现(据我所理解)，这意味着整个输出序列是在一个前向运行中生成的(与每个前向运行预测输入和先前预测的令牌的自回归模型相反)。

但是，从代码中可以看出，模型仍然期望前面的令牌作为输入：

def forward(self, src_tokens, src_lengths, prev_output_tokens, tgt_tokens, **kwargs)

https://github.com/pytorch/fairseq/blob/master/fairseq/models/nat/nonautoregressive_transformer.py#L78

Answer 1

它与基类forward方法的签名保持一致，因此允许使用它来代替任何其他自回归转换器，但实际上没有使用它。同样的情况发生在模型解码器中。