首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >理解 AI 模型 API 计费里的 input price 与 output price

理解 AI 模型 API 计费里的 input price 与 output price

作者头像
编程小妖女
发布2026-03-10 23:27:59
发布2026-03-10 23:27:59
630
举报
概述
摘要 在基于 LLM 的商用 API 里,供应商通常把一次调用拆分为input tokens与output tokens,并分别给出 input price 与 output price。这种“双计价”源于推理阶段不同计算路径的硬件消耗差异:prefill阶段一次性把全部输入序列并行送入 GPU/TPU,而decoding阶段则要按自回归方式逐字生成,每多生成一个 token 就再走完整条推理管线
文章被收录于专栏:人工智能人工智能

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档