关于自回归LLM的几个问题

Question

对于LLM译码器，每个解码步骤的K、Q、V究竟是怎样的？

说我的输入提示是“今天是一个”(好日子)。

在t= 0(生成步骤0)：K，Q，V是序列的投影(“今天是一个”)，然后说生成的下一个标记是“很好”

在t= 1(生成步骤1)：哪个是真：

• K，Q，V是序列的投影(“今天很好”)

或

• K，Q，是序列的投影(“今天是一个”)，V是序列的投影(“好”)？

Answer 1

在t=1: K，Q，V是序列“今天很好”的投影。

但是，考虑到第一个令牌的计算已经在前面的步骤中完成，通常会有某种缓存机制来将它们的重复计算保存在下面的步骤中。