相同输入可能因上下文累积、工具顺序差异或模型概率采样产生不同执行路径,使传统"固定输入 → 固定输出"的断言式测试失效。
问题常发生在 prompt 与最终响应之间,若只记录最终结果,难以暴露越权工具调用、错误数据传递等风险。
一次会话可能包含数十轮 LLM 调用与数十次工具执行,每个步骤产生数 KB 到数 MB 的 Trace 数据,在千万级会话规模下数据量以 TB 级增长。
trace_id、user_id、conversation_id 等维度若作为指标标签,会导致基数爆炸,推高存储成本并拖慢查询。