变压器的反向传播

Question

当一个变压器模型被训练时，在解码器的末端有线性层，我的理解是一个完全连接的神经网络。在变压器模型训练过程中，当有损耗时，会反向传播来调整权值。

我的问题是反向传播有多深？

• 它是否只发生在线性层权值(完全连接的神经网络)？
• 还是将其扩展到所有解码器层权重矩阵(Q、K、V)和前向层权重？
• 或者它扩展到甚至编码器+解码器的权重？

请帮我回答这个问题。

Answer 1

反向传播扩展到整个模型，通过所有的解码器和编码器层，直到嵌入表。