OpenAI的GPT3 API使用什么令牌？

Question

我正在为API构建一个应用程序，但在提交API调用之前，我希望能够计算提示符将使用的令牌数量。目前，我经常提交一些提示，这些提示会产生“太多的标记”错误。

我得到的最接近的答案是这个职位，它仍然没有说明它使用的是什么标记器。

如果我知道API使用了什么令牌，那么在提交API调用之前，我可以在我的提示符中计算出有多少令牌。

我在Python工作。

Answer 1

GPT-3的托卡器与GPT-2相同：

https://huggingface.co/docs/transformers/model_doc/gpt2 2#gpt2 2令牌

通过以下方式联系：

https://beta.openai.com/tokenizer

2023年3月更新

对于较新的模型，包括GPT-3.5 (turbo)、GPT-4和最新的嵌入，请使用带有tiktoken编码的cl100k_base令牌程序：

https://github.com/openai/tiktoken

一个完整的模型到编码映射可以找到这里。