我如何知道GPT-3请求使用了多少令牌？

Question

我正在构建一个基于GPT-3的应用程序，我想知道我提出的每个请求都有多少令牌。这有可能吗?怎么可能？

Answer 1

OPEN通过令牌收取GPT-3的使用费用，这包括提示和答案.对于开放-AI 750字将有一个大约1000个令牌或一个令牌与字比为1.4。令牌的定价取决于你的计划。

我不知道更准确的估算成本的方法。也许使用GPT-2令牌从拥抱面可以有所帮助。我知道GPT-2令牌的令牌在logit偏置阵列中传递到GPT-3时是可以接受的，所以GPT-2令牌和GPT-3令牌之间存在一定程度的等价性。

然而，GPT-2和GPT-3模型是不同的，而GPT-3具有比GPT-3更多的参数，因此GPT-2的估计值可能较低。我相信您可以编写一个简单的程序，通过比较提示和令牌使用情况来估算价格，但这可能需要一些时间。

Answer 2

计算GPT-3请求使用了多少令牌的代码：

def count_tokens(input: str):
    tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
    res = tokenizer(input)['input_ids']
    return len(res)


print(count_tokens("Hello world"))