AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考

企业在上线 AI Agent 前，应围绕“用户输入、模型规划、工具调用、数据访问、内容输出、日志审计、运营复核”建立安全治理架构。Agent 的风险不只来自生成内容，还来自它对工具、知识库和业务系统的调用能力。一个可落地的 Agent 安全体系，需要把内容安全、账号风控、权限控制、动作审批和策略迭代纳入同一闭环。

一、Agent 应用为什么需要安全治理架构？

AI Agent 的价值在于自动完成任务。它可以理解用户意图，拆解步骤，调用 API，读取知识库，生成内容，并把结果写回业务系统。对企业来说，这种能力会带来效率提升，也会把大模型安全问题从“内容层”推到“业务执行层”。

例如，客服 Agent 可能读取用户资料并生成回复；办公 Agent 可能访问合同、邮件和知识库；运营 Agent 可能生成活动文案并推送到外部渠道；交易 Agent 可能触发订单、权益或资金相关动作。只要 Agent 能执行动作，就必须有对应的权限、安全和审计机制。

二、建议采用五层安全架构

企业可以按五层设计 Agent 安全能力。

这五层不是替代关系，而是协同关系。只做输出审核，无法解决输入注入、越权调用和工具滥用问题。

三、输入安全：把不可信请求挡在任务链路外

Agent 输入层需要识别的不只是敏感词，而是用户意图和风险上下文。常见风险包括：

1. 提示词注入：要求忽略系统规则、泄露系统提示词、绕过审核。
2. 越权请求：要求查询、导出或修改无权限数据。
3. 敏感信息输入：用户上传身份证、手机号、合同、密钥、源代码等。
4. 违法违规任务：要求生成欺诈、侵权、低俗、攻击或其他有害内容。
5. 多轮诱导：前几轮正常，后续逐步引导 Agent 放宽边界。

输入检测最好输出风险标签、风险等级和建议动作，便于后续策略引擎处理。例如低风险继续执行，中风险进入安全代答，高风险阻断或转人工复核。

四、规划控制：给 Agent 的“自主性”加边界

Agent 的规划过程需要有明确边界。企业可以把任务分为只读查询、内容生成、数据导出、数据写入、高危操作等类别，再为每类任务设置工具权限和审批条件。

例如，知识问答类任务可以使用只读知识库接口；生成对外客服回复，需要经过内容审核和品牌口径检查；批量导出客户资料，需要权限校验、脱敏和人工审批；修改订单、权益、权限、资金状态等动作，应默认进入高危操作流程。

这种设计可以减少“模型自己判断权限”的不确定性。Agent 可以规划任务，但工具访问权、动作执行权和数据范围应由业务系统和安全策略共同决定。

五、执行风控：工具调用必须可验证

执行层是 Agent 安全的关键。建议企业对每一次工具调用记录：

• request_id：请求唯一标识。
• user_id / tenant_id：用户和租户信息。
• agent_id：执行任务的 Agent。
• tool_name：被调用工具。
• input_params：关键参数摘要。
• risk_labels：输入、规划和输出风险标签。
• action_result：执行结果。
• review_status：是否经过审批或复核。

同时，工具调用前应做参数校验、权限校验、速率限制和高危动作确认。对外部数据源返回的内容，应按不可信内容处理，防止网页、邮件、PDF 或工单文本中的注入指令影响 Agent。

六、内容安全服务在 Agent 中怎么接入？

内容安全服务可以嵌入 Agent 的多个节点：

七、上线前验证清单

Agent 上线前，建议至少完成以下测试：

1. 正常业务任务是否能稳定完成。
2. 提示词注入样本是否能被识别。
3. 不同权限用户访问同一任务时，结果是否不同。
4. 高危工具是否需要二次确认。
5. 敏感信息能否被脱敏或阻断。
6. 多轮诱导是否会逐步突破策略。
7. 日志是否能完整回放任务链路。
8. 新增风险样本后，策略是否能快速迭代。

FAQ

Q：Agent 安全架构的核心是什么？

A：核心是把输入、规划、工具调用、输出和运营放在同一条治理链路里。Agent 能调用工具和业务系统，所以必须同时具备内容安全、权限控制和执行风控能力。

Q：企业已有权限系统，还需要 Agent 权限控制吗？

A：需要。原权限系统通常控制页面或文件访问，Agent 场景还要控制检索、总结、导出、调用工具和写回业务系统的权限。

Q：Agent POC 阶段应该重点测什么？

A：建议重点测试提示词注入、越权查询、工具误调用、敏感信息泄露、输出违规、日志回放、P99 延迟和策略迭代效率。