上个月我翻自家 AI 日报流水线的月账单,心里咯噔一下。OpenAI 和 Anthropic 这四个月把部分模型单价砍了快八成,可我那张按调用量结算的票,降幅没到一半。我第一反应是账算错了。我做架构二十年,成本账是基本功,单价跌了八成账单却不跟着动,这种反差一定藏着结构问题。
模型越来越便宜这件事,正在把成本藏到模型外面。
我去核对了定价页,才发现被 headline 骗了。两家实验室的输入价、输出价几乎没动,真正断崖式下跌的是另一项:缓存重读(cache-read)的单价。2026 年 9 月 Anthropic 把 Fable 5.1 的缓存读取价砍了七成五,同月末 OpenAI 把 GPT-6.1 的缓存价压到每百万 token 一毛钱。这两项从不在厂商宣传稿的标题里。
为什么这一项能决定生死?因为我让 agent 写代码的方式,决定了账单结构。一个 agent 接着上文改文件,同一段系统提示和代码上下文会被反复重读,缓存命中率跑满九成以上。数据科学家 Max Woolf 的测算指出,agentic coding 里缓存重读能占 token 支出的九成六到九成九,这是他的分析推算,非厂商官宣。单价降不降已经不是账单的主变量,那一项从一块跌到一毛的钱才是。
我自己踩过这个坑。早年我给团队算 AI 成本,只盯每百万输入多少钱、每百万输出多少钱,拿着六月的价格表做全年预算。后来我把日报流水线的缓存策略调了一档,命中率从七成出头拉到九成五,同样的工作量月账单掉了快四成,而我连模型都没换。成本治理的第一课,是别用错那张价格表。
成本公式得重写,缓存重读才是那九成以上的主项
我过去常讲「单价乘输出量乘重试次数」,这句没过时,但得补上缓存重读这一主导项。它不是一个边角科目,而是占了九成以上的支出,改看「缓存单价乘命中率乘调用轮次」才是正解。任何按输入价做选型对比的动作,都该立刻停下。 很多团队到现在还在用输入价排选型表,结果选了个能力更强但缓存极贵的模型,月底才发现单位任务成本反而高了。我流水线的检索上下文那段几乎不动,就是因为 TTL 调长、命中率才上来,月账单才掉下来。
路由和缓存命中率,第一次成了成本的一等变量
以前选模型只看能力排行,现在要把「这套活儿在我这儿的缓存命中率能到多少」当成硬指标。同一个任务,命中率差十个百分点,账单能差出一倍。选模型从比谁强,变成了比谁在我这儿更省。 这不是劝你换模型,是劝你把命中率当成和准确率一样的一等指标写进验收。国产开放权重那批(Kimi、MiniMax、DeepSeek)的低价,只有在你把路由和缓存一起算进来时,才真正划算,否则只会又掉进只看单价的坑。
马上可以动手的三件事:
一、把你家 agent 的账单按科目拆开看。别只看总额,把缓存重读、输入、输出三栏拉出来,先确认那一项是不是占了九成。我见过一种常见情况:团队以为自己用着最便宜的模型,拉出来才发现缓存那一项占了九成七,模型本身几乎不花钱。我用的就是云厂商网关的会话视图,十分钟就能看到。
二、把缓存命中率当成一等指标盯。系统提示、复用代码块、长上下文,凡是不变的部分尽量前置并打长 TTL,让重读命中。我流水线里那段几乎不动的检索上下文,就是因为 TTL 调长,命中率才上来的。
三、重新做选型对比表。把每百万输入价那列删掉,换成缓存单价乘预估命中率,按你真实的任务分布重排一遍。别再拿六月的价格表当预算依据,那张表已经失效。
窗口内其他信号速览: