最近想给团队做一次辅助编码工具的横向评测,搭了一套固定 fixture 加自动断言的任务集,但卡在一个口径问题上,想请教有经验的同学。 背景:同一个底座模型,在 A 客户端里会自动带上全仓索引、当前打开的文件和最近编辑历史;在 B 客户端(命令行)里基本只有我显式贴进去的内容。同一个任务,A 一次通过、B 需要追问两轮。这个差距到底该算「产品能力差异」,还是算「上下文预算差异」?如果直接写进结论,换个 IDE 或换个打开文件的顺序,结论可能就翻转了。 具体想问三点: 1)为了只比较模型层,是不是应该完全绕开 IDE 插件,统一走同一个 API 入口、自己拼上下文?如果这么做,评测结果对「日常真实使用体验」还剩多少参考价值,大家是怎么权衡的? 2)如果要量化上下文预算,最小需要记录哪些字段?我目前只记了注入文件数、注入总 token 数、是否带 git diff、是否带检索结果,以及最终 prompt 的 sha256。还有哪些容易漏、但会显著影响结果的变量? 3)任务集防污染怎么做才够?我现在的做法是把任务 YAML 和 fixture 放在被测仓库之外,prompt 里不放期望补丁,断言脚本单独存放。但客户端仍可能读取同机其他目录或历史会话,是否需要为每轮评测起一个干净的用户目录或容器?有没有更轻量的做法? 补充一下我这边的最小字段结构,方便讨论:run_id / task_id / agent_build / fixture_sha / injected_files / injected_tokens / prompt_sha / pass_rate / diff_files / diff_added / diff_deleted / rounds / elapsed_s。 不需要具体产品排名或跑分数字,主要想要一套能让别人复现、口径不会暗中漂移的评测方法。谢谢。
相似问题