首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >Agent 全链路追踪 >Agent 全链路追踪如何采集模型调用环节的数据

Agent 全链路追踪如何采集模型调用环节的数据

词条归属:Agent 全链路追踪

1. chat Span 包裹每次模型调用

每个 LLM 调用生成独立 Span,记录模型名、输入与输出 Token、首 Token 耗时与结束原因,使单次调用的成本与延迟可量化。

2. 输入输出与缓存

记录 prompt 与 completion 内容(需显式开启内容捕获);启用提示词缓存时记录 gen_ai.usage.cache_read.input_tokens 与 gen_ai.usage.cache_creation.input_tokens,区分缓存命中带来的节省。

3. 多模态与推理 Token

多模态请求记录生成内容类型,推理模型记录 gen_ai.usage.reasoning.output_tokens(自 v1.41 起成为独立属性,不再并入 output_tokens),使不同模型形态的用量被正确归集。

4. 模型性能分位度量

按 P50 / P95 / P99 分位展示首 Token 耗时与模型调用耗时,支持按模型、应用、时间维度下钻对比,为模型选型与调优提供数据依据。

相关文章
用 eBPF 给 AI 推理服务做"CT":从系统调用到 GPU 瓶颈的全链路追踪
这篇文章的起因是一个真实的线上故障。团队部署了一个 vLLM 推理服务,模型是 Llama 3 70B,8卡 A100。压测时 QPS 还行,但上线后 P99 延迟时不时飙到 3 秒以上,而且毫无规律——同一批请求,有时候 200ms 返回,有时候 3 秒返回。团队用 nvidia-smi 看了 GPU 利用率,正常;用 PyTorch Profiler 看了模型内部,正常;看了应用层日志,也正常。最后用 eBPF 在内核态挂了几个探针,15 分钟就定位到了问题——NVLink 的某个通道间歇性丢包,导致 NCCL AllReduce 偶发卡顿,而 nvidia-smi 根本看不到这个层级的细节。这篇文章不是 eBPF 入门教程,而是一个系统工程师视角的实战指南:如何用 eBPF 追踪 AI 推理服务的系统调用与性能瓶颈,从内核态到 GPU 全链路打通。
猫七条
2026-07-18
4280
数据血缘能力实践:构建覆盖同步、加工与服务的数据全链路追踪体系
一条完整的数据链路通常需要经历:业务系统产生数据 → 数据接入 → 数据加工 → 数据资产沉淀 → 数据服务应用
吴同
2026-08-21
1370
告别“黑箱”养虾!腾讯云可观测平台给您的 OpenClaw 装上“透视眼”
当下时代 AI Agent 框架百花齐放,OpenClaw 这只🦞凭借强大的能力成为企业数字化的香饽饽,但养虾容易管虾难,没有靠谱的可观测工具,你的 “数字龙虾养殖场” 只会变成黑箱泥潭。今天就用腾讯云可观测平台,给你的 OpenClaw 装上专属透视眼,让每一只🦞 的一举一动都尽在掌握!
腾讯云开发者
2026-03-27
9420
公众号广告变现优化:从适配到数据追踪的全链路技术实现
公众号广告是多数运营者的核心变现渠道,但实际操作中常面临 “多终端排版错乱”“转化数据模糊”“违规风险高” 三大问题。本文结合腾讯云与微信生态工具,从技术层提供全链路解决方案,帮助开发者提升广告点击率与变现稳定性。
用户11822172
2025-09-15
1.2K0
告别“黑箱”养虾!腾讯云可观测平台给您的 OpenClaw 装上“透视眼”
当下时代 AI Agent 框架百花齐放,OpenClaw 这只🦞凭借强大的能力成为企业数字化的香饽饽,但养虾容易管虾难,没有靠谱的可观测工具,你的 “数字龙虾养殖场” 只会变成黑箱泥潭。今天就用腾讯云可观测平台,给你的 OpenClaw 装上专属透视眼,让每一只🦞 的一举一动都尽在掌握!
腾讯云可观测平台
2026-03-27
1.3K0
点击加载更多
词条知识树 27个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券