测试汇总:
“Token”并非固定的文本量。每家供应商的tokenizer会将同一份文件分割成不同数量的片段,而你按片段付费。因此,不同供应商之间的$/Mtok(每百万token价格)是不可直接比较的。
Anthropic最新的tokenizer(Sonnet 5, Opus 4.8, Fable 5)对相同的代码产生的token数量比其之前的版本多约30%。标价并未改变。
在相同的文件上,它产生的token数量是GPT的1.36至1.73倍。TypeScript是最坏的情况,达到了1.73倍。
从有效成本来看,Opus 4.8的$5 / $25标价实际相当于$7.50 / $37.50,而Sonnet 5在促销期结束后则相当于$4.50 / $22.50。
此分析仅衡量输入token化。输出内容的长度、思考过程以及缓存会使整个任务的账单进一步变化;详情见末尾。
我们使用每家供应商自己的计数端点,对所有前沿模型的tokenizer统计了相同字节数,并与实际付费请求的计数进行了交叉核对。以下是具体数字以及它们对价目表上价格的实际影响。
● 为什么$/Mtok不是可比价格
模型的账单是两个数字的乘积:
成本 = (你的内容转换成的token数) x (每个token的价格)
定价页面显示的是第二个数字,并将第一个数字视为常数。但它并非常数。它取决于模型的tokenizer,而不同供应商的tokenizer差异很大。两个模型可能都标着“$5.00 / 1M 输入token”,但对于相同的段落,它们产生的账单却可能大不相同,因为其中一个会将该段落转换成更多的token。由于没有人公布每个token对应的内容量数据,我们进行了测量。
● 测量方法
我们选取了16个真实样例:英文散文、HTML页面、JavaScript、Python、TypeScript和Rust文件、JSON工具架构和工具结果、中文对话和散文、含大量符号的文本,以及我们自己的Agent系统提示词。我们使用每个模型的生产环境tokenizer,对每个样例逐字节进行了计数:
1. Anthropic模型使用官方的count_tokens端点进行计数,该端点返回的计数与Anthropic计费的依据相同。
2. OpenAI模型使用文档中记录的o200k_base tokenizer,通过tiktoken库进行计数。对于最新模型,我们通过与生产环境进行双重检查:我们向GPT-5.1、GPT-5.5和GPT-5.6 Sol发送了真实的API调用,并使用“长文本减短文本”差值法(以抵消请求框架的影响)将实际使用量与本地计数进行了比较。三者均与o200k_base完全匹配。
3. Gemini和Grok使用其提供商提供的token计数端点。
在整个分析中,GPT的o200k作为1.00倍基准,主要因为它已经冻结并被公开文档记录超过两年,而Claude的tokenizer则是发生变化的那一个。DeepSeek和GLM被完全排除在表格之外:我们只有粗略的“字符数除以四”的估算值,没有真实的tokenizer计数,而本文关注的是实际测量数据。
● 发现:相同标价,token数多约30%
Claude Opus 4.6 和 Opus 4.8 的标价同为 $5.00 / $25.00。两者之间的变化在于tokenizer。Sonnet 4.6 和 Opus 4.6 使用旧版tokenizer;Sonnet 5、Opus 4.8 和 Fable 5 使用新版。下表统计了相同的字节在Anthropic自己的端点上使用新旧tokenizer的计数结果:
如果按照真实的Agent请求构成(主要是英文系统提示词、工具架构、代码和JSON)对这些行进行加权,新版tokenizer每个请求大约增加+32%的token数。中文那一行几乎没有变化,因此token膨胀主要集中在英文和代码上。
● Sonnet 5的发布价格,重新计算
Sonnet 5发布时的价格为 $2.00 / $10.00,低于Sonnet 4.6的 $3.00 / $15.00,看似是降价。但这是一个促销价,将于2026年8月31日结束。在促销期间,较低的费率略高于抵消额外的token数,因此对于相同的代码,Sonnet 5实际上比4.6稍便宜一些。从9月1日起,价格将回调至 $3.00 / $15.00,额外的token数依然存在,在相同的标价下,完成相同工作的成本将比Sonnet 4.6时高出约三分之一。
● 通过实际账单验证计数器
counttokens 是一个预测值,因此我们也发送了真实的付费请求(设置 maxtokens: 1),并读取了 usage.input_tokens,这是账单计费的依据。对于相同的内容,Opus 4.6 计费了 2,541 个输入token,Opus 4.8 计费了 3,191 个,每个都与它们的预测计数完全匹配。我们对Fable 5(该系列中最昂贵的模型)也进行了同样的检查,它计费了 3,191 个token,与 Opus 4.8 相同。因此,Fable 使用相同的新版tokenizer,并且其更高的标价背后没有隐藏额外的每token加价。整个验证过程花费约0.08美元。
● 发现:代码上的差距最大
跨供应商表格以GPT的o200k作为1.00倍基准。每个单元格的值是该模型对相同文件的token计数除以GPT的token计数,因此1.20倍意味着比GPT多20%的token。Claude的新旧tokenizer并排显示:
代码行的数值远高于散文行:TypeScript为1.73倍,Rust为1.58倍,JavaScript为1.52倍,Python为1.50倍,而英文散文为1.40倍。代码是编程Agent处理的主要内容,因此对于此类工作负载,1.50-1.73倍的范围是相关的。
为什么TypeScript是最坏的情况?因为o200k在处理TypeScript时异常高效:大约每个token对应4.24个字符,这看起来像是在大量网络JavaScript和TypeScript上训练的结果,其中驼峰式标识符和JSX模式能被压缩成单个token。而在Rust上,其效率下降到大约每个token 3.51个字符。Claude的tokenizer在两种语言上的密度大致相同,因此差距最大的地方恰恰是GPT最强的地方。
中文表现不同。无论是旧版还是新版tokenizer,Claude都比GPT高出约1.45-1.55倍(在散文样例上为435对433个token,而GPT为300个),因此这是Claude系列在CJK文本上的长期属性,并非新版tokenizer引入的。实际上,Gemini在这里比GPT更高效,为256个token。哪种tokenizer对你来说成本更高,取决于你写什么。
● 这对价格意味着什么
将标价乘以测量到的差异,就能得到处理相同工作的有效价格。这里的差异是典型英文编码请求的混合倍数,以GPT的o200k为标准:
有几行值得再看一眼。Opus 4.6和4.8标价相同,但有效价格相差约32%。GPT-5.5和GPT-5.6 Sol共享tokenizer,因此它们相同的标价在效果上确实是相同的。Gemini 3 Flash运行的tokenizer比GPT略重,但仍以较大优势保持为最便宜的选择。
作为一个独立数据点:Ploy本周发布了一份迁移到GPT-5.6 Sol的生产报告,称在相同的构建任务中,输入token数为170万,而Claude Opus 4.8为260万,大约减少了35%。这衡量的是整个任务的账单而非单纯的tokenizer探测,因此它也包含了模型输出的长度因素,但指向了相同的方向。
● 输入比例未涵盖的内容
以上所有内容只衡量了一件事:相同的字节变成了多少个输入token。一个完整的Agent任务在此基础上增加了更多变量,而且这些变量影响很大。模型为达到相同结果花费了多少输出和思考token?执行器每步加载了多少上下文?它调用工具或产生子Agent的频率如何?供应商如何对缓存读取和写入定价?
有两个后果值得明确指出。首先,缓存流量也按token计费,因此一个产生32%更多token的tokenizer也会使每次缓存写入和读取的成本增加约32%,并且在长时间的Agent会话中,缓存读取占据了账单的大部分。其次,一旦将输出长度和思考过程计入,整个任务的成本差异可能远超1.73倍,向任一方向都有可能。当人们报告某个模型在Agent任务上“使用的token是另一个模型的2-4倍”时,这在他们特定的设置下可能是真的,即使我们样本中纯输入token化的差距从未超过1.73倍。这两个数字衡量的是不同层面。
按内容类型划分,我们测量到的Claude新版tokenizer相对于GPT的o200k的输入侧范围是:散文、HTML和JSON为1.36-1.42倍;代码为1.50-1.73倍,其中TypeScript最高;中文和含大量符号的文本为1.44-1.53倍。我们将TypeScript放在标题中,因为它既是范围的最高点,也是编程Agent整天处理的内容,而非因为所有情况都是1.73倍。
我们还在后续研究中直接测量了每个任务层的成本:九个相同的模型,分别给定一个相同的绘图任务,各尝试一次,每次尝试都根据提供商自己的使用量数据定价。相同的绘图任务,根据模型和推理力度,成本从$0.004到$0.80不等,而最大推理力度导致三个模型完全无法完成任务。
● 如何比较模型价格
1. 基于你自己的内容进行比较。你的语言和文件类型决定了倍数,因此在信任价目表之前,请通过每个tokenizer运行一个有代表性的样本。
2. 将tokenizer变更视为价格变更。当供应商以相同标价发布新模型时,请检查tokenizer是否发生了变化。从Opus 4.6到4.8是约32%的增长,而任何账单上都没有这个项目。
3. 衡量每完成一个任务的美元成本,而非每token的美元成本。这个单一数字同时包含了token化、输出长度、思考过程和缓存,而提供商的usage字段为你计算它提供了真实数据。
4. $/Mtok作为开场信息仍然有用。但它不够充分,并且在不同tokenizer之间不可比较。供应商明天就可以通过同时发布每字节的价格来解决这个问题;在有人这样做之前,转换工作就落在你身上了。
以上内容并不意味着某一个模型普遍正确。GPT-5.x在英文和代码上是token效率最高的选择,Gemini 3 Flash在有效价格上非常便宜,而Claude模型即使运行成本更高,也凭质量赢得了自己的地位。只需确保你比较的价格是在考虑tokenizer之后你实际支付的价格。
来源:Anthropic定价 (anthropic.com/pricing),OpenAI定价 (platform.openai.com/docs/pricing),Google Gemini API定价 (ai.google.dev),xAI定价 (docs.x.ai)。Token计数来自Anthropic的counttokens端点,OpenAI的o200kbase(已通过实时API使用情况验证),以及Google和xAI的计数端点。生成这些计数时未使用任何文本生成技术。