模型厂商在“挤牙膏”，还是工具在“吃回扣”？

Databricks 最近对其数百万行代码库进行了实战评测，结果让不少人跌破眼镜：在编程这件事上，最贵的并不代表最好，而厂商自家的工具（Harness）反而可能是最浪费钱的。

核心发现有三点：首先，开源模型 GLM 5.2 已跻身第一梯队，性能持平 Opus 4.8 但成本低了 30%；其次，单纯看 Token 单价毫无意义，Sonnet 5 虽然单价便宜，但因为“废话多”、反复尝试，最终单次任务成本反而比 Opus 还高；最关键的是，像 Pi 这样简单的第三方工具，由于上下文管理更克制，比厂商原生工具（如 Claude Code）节省了近 3 倍的上下文消耗，且成功率不降反升。

这件事背后的逻辑值得玩味：模型厂商有天然的动力让用户多消耗 Token（就像牙膏广告教你挤满整根牙刷），而真正的高效往往来自对 Context 的精准裁剪。对于企业和开发者来说，盲目迷信原生配套或低单价模型都是陷阱，建立基于自身代码库的真实评测（Benchmark），把任务分层交给不同量级的模型，才是 AI 时代的省钱经。

databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase

#人工智能##AI创造营##大模型##程序员#