首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >Pydantic AI >Pydantic AI 的上下文管理机制如何控制 Token 消耗?

Pydantic AI 的上下文管理机制如何控制 Token 消耗?

词条归属:Pydantic AI

1. 提供商原生压缩

部分提供商暴露内置压缩 API,Pydantic AI 将其封装为 Capabilities:

  • OpenAICompaction:使用 OpenAI Responses API 的压缩功能
  • AnthropicCompaction:使用 Anthropic 的自动上下文压缩,可配置 token_threshold 触发阈值

2. 模型无关的历史处理

通过 history processor 包装为 ProcessHistory capability,可在任何模型上实现上下文管理:

  • 滑动窗口:仅保留最近的消息,零成本
  • 摘要压缩:使用更便宜的模型将旧消息压缩为摘要

3. Pydantic AI Harness 的分层压缩

Harness 提供一系列即用型模型无关压缩策略,包括零 LLM 历史编辑(滑动窗口修剪、清除旧工具结果、去重重复文件读取、钳制过大的消息部分)和 LLM 摘要,以及 TieredCompaction 编排器,仅在需要时从廉价策略升级到昂贵策略。

相关文章
什么是上下文压缩?如何减少Token消耗?
🚀 本文收录于Github:AI-From-Zero 项目 —— 一个从零开始系统学习 AI 的知识库。如果觉得有帮助,欢迎 ⭐ Star 支持!
ETL 小当家
2026-03-31
2.3K0
如何计算文档会消耗的Token数量?
在AI的世界里,"token"就像是把我们说的话或写的文字拆分成的小块块,每块可以是一个词、一个短语、一个标点,甚至一个字母。不同的AI系统可能有不同的拆分方法。
AIGC部落
2024-06-24
3.2K0
深度探索 Gemini CLI:如何实现 Token 消耗的全局自动化统计?
如果你是一名 Gemini CLI 的深度用户,一定被它的 /stats model 命令震撼过。输入这个完整指令,Gemini 会展示出一份极其详尽的“Stats For Nerds”报表:
用户8792577
2026-03-13
5990
2年1000倍:一张图看懂中国AI Token消耗的疯狂曲线
国家数据局局长刘烈宏在中国发展高层论坛上说了个数:中国日均Token调用量,突破140万亿。
慧知AI
2026-03-26
4.8K0
《万级 Token 消耗之谜:为什么修改几行代码会触发 AI 的“全文重写”?》
AI 编程助手(如 GitHub Copilot, Cursor)的出现,极大地提升了开发者的编码效率。然而,随着使用频率的增加和模型能力的增强(尤其是支持超长上下文窗口的模型),一个现实问题开始浮现:Token 消耗成本。
沈宥
2026-02-04
2.9K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券