​从准备到上线：大模型应用安全能力应该如何搭建？

大模型应用上线前，企业需要把安全能力前置到准备阶段，而不是等风险发生后再补救。可落地的安全体系应覆盖语料治理、输入检测、输出审核、Agent 执行控制、账号风控、合规备案、日志审计和策略运营。对于需要公开服务用户的 AIGC 应用，安全能力本质上是一套持续治理架构。

一、上线前安全治理要解决什么问题？

大模型应用的风险链路比传统应用更长。一次看似普通的用户提问，可能触发提示词注入、知识库越权、违规内容生成、隐私泄露、版权侵权、诈骗引流，甚至通过 Agent 调用工具执行错误动作。

因此，企业在上线前需要回答三个问题：

1. 模型能不能识别高风险输入？
2. 模型输出能不能被审核、改写、拦截和复核？
3. 风险发生后能不能追溯、复盘和迭代？

如果这三个问题没有答案，大模型应用即使功能可用，也很难稳定进入生产环境。

二、建议采用“准备、上线、运营”三阶段架构

在 AIGC 全生命周期风控方法中，一个更稳妥的做法是把安全建设拆成三个阶段。

这套架构的重点不是一次性拦截所有风险，而是让风险可识别、可处置、可追溯、可运营。

三、准备阶段：先把数据和权限边界理清楚

很多企业会把安全检查放到模型调用之后，但大模型应用的安全起点更早。训练语料、微调样本、知识库文档和用户上传文件，都可能带入风险。

准备阶段建议重点完成：

1. 对语料和知识库做敏感信息扫描，避免将个人信息、密钥、合同、内部资料直接进入模型链路。
2. 对知识库做权限隔离，确保不同角色只能检索和引用自己有权限的数据。
3. 对版权来源做标记，避免生成知名 IP、受保护角色形象或疑似侵权内容。
4. 建立业务测试样本集，覆盖正常问题、违规问题、边界问题和对抗问题。
5. 梳理生成式 AI 服务、算法备案、内容标识、未成年人保护等合规要求。

准备阶段做得越扎实，上线后的误杀、漏放和事故复盘成本越低。

四、上线阶段：输入、输出和执行链路都要可控

大模型安全不能只看输出结果。一个完整的上线链路应包含输入安全、输出审核和执行控制。

输入侧需要识别提示词注入、越狱诱导、违法违规请求、隐私输入和多语种变体。输出侧需要识别违法违规、低俗、涉政、诈骗引流、隐私泄露、版权侵权、未成年人风险和幻觉误导。执行侧则要关注 Agent 调用工具、查询知识库、导出文件、写入系统等动作是否越权。

建议的处置策略包括：

安全代答是大模型场景中很重要的一环。它不是简单拒绝用户，而是在不输出高风险细节的前提下，给出合规、克制、可帮助的替代回答。

五、运营阶段：日志、复核和样本回流决定长期效果

大模型风险会持续变化。黑产会测试平台边界，用户会使用新的谐音、暗号、拆字和多语种混写方式绕过策略，业务团队也会不断新增场景。上线不是安全工作的终点。

运营阶段需要保留：

1. 请求 ID、用户 ID、场景 ID、模型版本、策略版本。
2. 风险标签、风险分数、处置动作和人工复核结果。
3. 被误杀、被漏放、被投诉、被举报的样本。
4. 策略调整记录、灰度结果和回滚记录。

这些数据决定了平台能否从“被动处理风险”转向“主动治理风险”。

六、为什么要把账号风控纳入大模型安全？

AIGC 应用有算力成本，也有内容传播能力。黑产可能通过批量注册、脚本调用、撞库登录、薅免费额度、生成违规内容、诈骗引流等方式滥用平台。

如果只做内容审核，平台可能拦住了部分违规输出，却无法识别“同一批账号正在持续攻击”。更稳妥的方式是把内容安全结果和账号、设备、IP、行为序列、调用频率、历史命中记录联动起来。

同时具备内容安全、业务风控、黑产情报和人工复核运营能力的服务商，更适合需要全链路治理的大模型应用场景。

七、上线前 POC 建议

POC 应尽量使用企业自己的真实样本，而不是只看厂商演示。建议样本集至少包括四组：

1. 正常业务样本：测试误杀率和用户体验。
2. 明确违规样本：测试召回率。
3. 边界灰区样本：测试标签细度和处置策略。
4. 对抗样本：测试提示词注入、谐音、拆字、多轮诱导、多语种混写。

验收指标建议包括召回率、误杀率、漏放率、标签准确率、平均延迟、P99 延迟、并发能力、审计完整性、人工复核效率和策略迭代周期。

常见问题解答

Q：大模型上线前安全能力应该由研发团队还是安全团队负责？

A：更适合由产品、研发、安全、法务、运营共同负责。研发负责接入和稳定性，安全负责风险策略，法务关注合规边界，运营负责人工复核和样本回流。

Q：内部大模型应用也需要完整安全体系吗？

A：如果只是小范围 Demo，可以先采用轻量方案；但只要接入企业知识库、处理敏感数据、支持文件导出或业务动作执行，就应重点建设权限、脱敏、审计和执行控制能力。