Agent 评估中的安全性与合规性应考察哪些行为?
修改于 2026-10-13 17:53:06
10
1. 越权与策略违背
- 评估是否出现尝试或已执行的禁止动作、审批绕过、权限边界外访问
2. 敏感信息暴露
- 评估密钥、隐私数据、内部信息的暴露风险,以及资源滥用、不安全升级行为
3. 独立成门
- 将"结果正确性""安全性""效率""恢复能力"分开评估:高任务完成度不能补偿未授权动作,低成本不能补偿虚假成功
4. 恢复行为
- 在注入工具失败、权限受限、对抗输入时,评估智能体是否能安全重试、改变计划或请求人工介入