训练编码器.使用解码器输出的解码器

Question

我正试图为文本类型的传输问题建立一个编解码模型。问题是我在这两种样式之间没有并行数据，所以我需要在一个无监督的环境中训练模型。

我见过的一些文章使用自动编码器分别训练编码器和解码器组件。通过将问题设置为自动编码器，他们可以通过将目标序列(等于输入序列)传递到解码器中来训练解码器。(以下是一些例子，https://arxiv.org/pdf/1711.06861.pdf，https://arxiv.org/pdf/1804.04003.pdf)

与自动编码器不同，我想知道是否有可能通过在时间步骤t时将解码器的预测输入到输入中来训练解码器。我会将生成的输出传递给分类器，以检查其样式并获得训练信号。这样做是否明智，这样做的利弊何在？谢谢。

Answer 1

我想知道是否有可能通过将它的预测输入时间t输入到输入端来训练解码器。

是的，这是可能的。

但我不明白你为什么要这么做。

Υou将在每一个新的预测中进行累积误差的传播和放大，使您的预测迟早会偏离地面事实。