OpenAI微调每个类必须从不同的令牌错误开始

Question

对于多类分类问题，我正在尝试运行一个类似于openAI烹饪书示例中的微调。在使用jsonl准备了列车和有效的fine_tunes.prepare_data文件之后，当我尝试运行推荐的fine_tunes.create命令时，将得到以下错误。

If `compute_classification_metrics` is `True`, each of the classes must start with a different token. You can view your class tokenizations at https://beta.openai.com/tokenizer?view=bpe.. Fine-tune failed. For help, please contact OpenAI and include your fine-tune ID.

Answer 1

看起来，当完成值超过一个令牌时，就会出现此错误。在将完成值更改为数字ids以确保它们是单个令牌之后，微调运行良好。

我不知道为什么prepare_data步骤本身没有说任何关于这方面的错误，因为我使用openai命令行工具来做准备。