上个月给客户的 H5 应用接大模型问答，上线一周账单出来吓了一跳：API 费用 3000 多，其中一半是重复问题的重复调用——用户问"怎么退款"和"退款流程是什么"本质是同一个问题，每次都重新调一次大模型。这篇把大模型 API 接入的限流、语义缓存与降级配置记录下来。

## 一、先算账：哪些调用是浪费的

大模型 API 按 token 计费，浪费主要来自三类：

| 浪费场景 | 占比（实测） | 说明 |
|---|---|---|
| 重复问题重调 | 40%+ | 同一问题多人问、换说法问 |
| 超时重试无上限 | 20% | 超时后盲目重试，费用翻倍 |
| 无上下文控制 | 15% | 长对话把历史全带上，token 暴涨 |

先做这三点：语义缓存去重、重试次数限制、上下文窗口控制。

## 二、语义缓存：相似问题命中缓存

语义缓存的关键是"向量相似度命中"，比精确匹配覆盖更多重复：

```txt
1. 用户提问 → 生成 embedding 向量
2. 和缓存库中近 24 小时的向量算余弦相似度
3. 相似度 ≥ 0.95 → 直接返回缓存答案，不调大模型
4. 相似度 < 0.95 → 调大模型，答案连同向量一起入缓存


缓存 key 设计：
key = sha256(归一化后的 query embedding)
TTL = 86400（24小时）


实测效果：上线语义缓存后，API 费用降了 45%，热门问题（运费、退款、售后）基本全部命中缓存。

三、限流与重试：控制调用节奏

1. 令牌桶限流：每用户每分钟 10 次，超过返回"稍后再试"
2. 超时设置：connectTimeout 3s，readTimeout 10s
3. 重试：仅限 1 次、间隔 2s，且只对幂等请求重试
4. 熔断：连续 5 次失败，熔断 60 秒，直接走降级


关键点：重试必须配熔断，否则大模型服务抖动时你的重试会放大故障，还白烧钱。

四、降级策略：服务不可用时的兜底

第一级：语义缓存命中 → 直接返回
第二级：大模型可用 → 正常回答
第三级：大模型不可用 → 关键词模板匹配
第四级：都不行 → 提示"人工客服稍后联系"


降级要平滑，用户无感知，绝不能把 "服务出错" 的报错直接抛给用户。

五、踩坑清单（这 5 个坑都踩过）

这次 H5 应用是搭在乔拓云的轻应用产品上的，我主要负责大模型 API 接入层的限流、语义缓存和降级这三块，上线一个月费用降了 45%，用户侧没再出现超时报错。

以上是个人实践记录，各平台具体功能以官方实时信息为准。

开放问题：你们接大模型 API 时，还有什么省 token 的实操经验？

告别AI接口超时烧钱：大模型API的限流、语义缓存与降级配置实践

人工智能

后端

架构设计

大模型API接入成本控制实战：通过语义缓存（embedding相似度≥0.95）砍掉40%重复调用，结合令牌桶限流（10次/分钟）、超时重试限制（3s/10s，重试1次）及四级熔断降级策略，实现API费用降低45%。本文还总结了5个踩坑点，提供可复用的降本增效配置方案。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

告别AI接口超时烧钱：大模型API的限流、语义缓存与降级配置实践

告别AI接口超时烧钱：大模型API的限流、语义缓存与降级配置实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐