Transformer -注意是您所需要的-编码器-解码器交叉注意

Question

我的理解是，每个编码器块都接受前一个编码器的输出，并且输出是序列(也称为句子)的参与表示(Z)。我的问题是，最后一个编码块是如何从Z中产生K，V的(用于解码器的编解码注意力自动分层)

我们只是简单地从最后一个编码层获取Wk和Wv吗？

http://jalammar.github.io/illustrated-transformer/

Answer 1

我认为对于解码器的所有第一个(非掩蔽的)多头注意力层，$K =V= Z$。但在计算该子层的注意力之前，$K$和$V$被投影到具有单独训练的参数矩阵$W_i^K$和$W_i^V$的不同空间。