当您提示GPT3时，输入数据会发生什么变化？

Question

例如，假设我打开操场，输入"Quack“。模型是如何处理这5个字符的，以确定下一步应该使用哪些字母或单词？

(碰巧的是，GPT3用“庸医”填充了这个提示，然后对细胞治疗进行了长篇大论。奇怪)。

Answer 1

很难给出一个很好的总结，所有发生在GPT-3，但我会尝试。

首先，该模型将单词Quack编码成令牌表示，这些令牌具有嵌入表示，这些令牌随后通过模型的解码器组件通过多个神经网络层传递。一旦第一个解码器转换器块处理了令牌，它就会将其产生的向量发送到由下一个块处理的堆栈上。每个块的过程是相同的，但是每个块在自我关注和神经网络子层中都有自己的权重。最后，您将得到一个输出令牌概率数组，并使用组合(或部分)数组来选择模型认为最适合输出的令牌组合。这些标记被解码回正常文本，你会得到你对细胞治疗的强烈反对。

结果取决于请求中的引擎、温度和逻辑偏差。

我建议阅读以下两个链接，以便更深入地了解内部发生的事情，这两个链接都由杰出的Jay编写。

https://jalammar.github.io/how-gpt3-works-visualizations-animations/

https://jalammar.github.io/illustrated-gpt2/