使用GPT-3 API和细调模型的字数限制

Question

在GPT-3API的文档中，它说要记住的一个限制是，对于大多数模型来说，一个API请求只能在您的提示和完成之间处理多达2,048个令牌(大约1,500字)。

在微调模型的文档中，它说你拥有的训练样本越多，越好。我们建议至少有几百个例子。一般来说，我们发现数据集的每一倍大小都会导致模型质量的线性增长。

我的问题是，1500字的限制是否也适用于细调模式？“数据集大小加倍”是否意味着培训数据集的数量而不是每个培训数据集的大小？

Answer 1

示例/示例指的是单个句子或文本。

培训数据集是您所拥有的示例列表。

将数据大小增加一倍意味着示例数量增加一倍。

2048令牌限制适用于用于微调模型的每个示例。这是GPT-3可以处理的最大序列长度(参见这个Twitter线程)。

注意，对于英语来说，2048个符号与1500个单词的等价性是一个估计。对于其他语言，特别是具有不同脚本的语言(如中文)，表示一个单词/字符所需的标记数量可能要高得多。