GPT模型如何从标记概率到文本输出？

Question

假设GPT-2或GPT-3试图生成下一个令牌，并且它对不同可能的下一个令牌具有一个概率分布(在将softmax应用于某些输出逻辑之后)。它如何在文本输出中选择要使用的令牌？

GPT-2纸提到顶部k个随机抽样(引用"递阶神经层生成")，而从不提到波束搜索。GPT-3纸提到核采样(引用"神经文本退化的奇例")和束搜索(引用"用统一文本到文本转换器探讨迁移学习的局限性")。

Answer 1

任何语言模型都可以用不同的方法生成文本：

• 贪婪解码:在每一时间步骤中你都能得到最高的概率令牌。
• 抽样:在每个时间步骤中，从概率分布中抽取生成的令牌。
• 温度采样:在应用温度因子\alpha后，对生成的令牌进行抽样概率分布，它可以使分布变平，也可以使其锐化。
• 波束搜索:保留最高的k最可能的子序列(即“波束”)；当解码完成后，输出最可能的子序列。
• top抽样:从概率分布中抽取样本，但只考虑最可能的k标记。
• 核抽样:从概率分布中取样，但只考虑最高概率标记，这些标记加起来等于特定的累积概率p。

OpenAI的API允许为完满和聊天端点选择以下方法：

• 温度采样，带有temperature参数。
• 核取样，带有top_p参数。

您可以同时指定它们，但是OpenAI建议您只同时使用其中的一个。

如果您想知道这些方法的具体实现细节，可以查看Huggingface博客中的这个职位。