包括 Token 消耗量、每请求延迟(P50 / P95 / P99)、错误率、GPU 利用率与网络 I/O 吞吐量,与传统微服务可观测基本一致。
Agent 特有维度,包括工具调用序列与分布、决策路径长度(从输入到输出的推理步数)、状态转换频率与成功率。
通过评估模型对每次响应打分或分类,涵盖相关性、幻觉检测、任务完成度、安全性等维度。
包括每会话成本、Token 利用率(有效 Token 占比)与人工介入率,用于衡量规模化部署后的经济性。