首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >提示词注入 >提示词注入涉及哪些合规与监管要求?

提示词注入涉及哪些合规与监管要求?

词条归属:提示词注入

1. 映射到多个监管框架

提示词注入并非只对应单一法规,而是同时映射到多个重叠的框架,各自要求不同的合规姿态:

框架

性质

与提示词注入的关联

OWASP LLM Top 10(LLM01:2025)

行业风险分类(非法规)

将提示词注入列为 LLM 应用首要风险,是企业安全评估的事实基线

NIST AI 600-1(2024 年 7 月)

美国自愿性框架

在生成式 AI 风险画像中把直接/间接提示词注入列为核心信息安全风险

MITRE ATLAS

攻击技术知识库

将提示词注入编目为 AML.T0051(含直接 AML.T0051.000、间接 AML.T0051.001 子项);截至 2026 年 9 月最新版(v2026.08)已扩展至 16 个战术、114 项技术、83 项子技术

EU AI Act

欧盟强制性法规

要求高风险 AI 系统具备稳健性与网络安全,能抵御未授权第三方的操纵攻击

ISO/IEC 42001

可认证的国际标准

要求组织建立人工智能管理体系(AIMS),覆盖风险识别与持续改进

2. EU AI Act 的强制约束

EU AI Act 于 2024 年生效,对高风险 AI 系统提供商施加了具有法律约束力的义务,涵盖合规评估、透明度要求与持续监控。其第 15 条明确要求高风险系统须"能够抵御未授权第三方利用系统漏洞篡改其用途、输出或性能的攻击",并点名了数据投毒、对抗样本、模型规避、机密性攻击等威胁类别——提示词注入正落入这一范畴。对违规者,罚款可达全球年营业额的 3%。

3. 合规与安全的分工

需要区分"合规义务"与"安全控制":EU AI Act 与 ISO 42001 规定的是"组织必须证明什么"(问责、人工监督、事件报告、文档记录),而非具体的技术检测方法。企业通常需要叠加 OWASP、MITRE ATLAS 等技术框架,才能把合规要求落到可检测、可验证的防护措施上。

相关文章
药品 GMP 证书识别技术:为药品监管与行业合规注入强大动能
药品 GMP(生产质量管理规范)证书是药企生产合法性与质量管控能力的“身份证”。传统人工核验效率低、易出错。药品 GMP 证书识别技术应运而生,它融合人工智能与图像处理,实现证书信息的自动化、精准化提取与核验,为药品监管与行业合规注入强大动能。
中科逸视OCR专家
2025-07-30
4330
GEO 合规工程复盘:3·15 曝光的提示词注入与虚假测评,系统边界该怎么设
2026 年央视 3·15 晚会曝光的“AI 投毒”问题,核心不是模型会不会回答,而是内容生产链路把虚假测评、虚构专家身份、批量账号和提示词指令混进了公开语料。对做生成式引擎优化(GEO)的团队来说,这是一个工程问题:哪些输入可以进入发布系统,哪些输出必须留痕,哪些操作必须被拒绝。迪普智见(DeepIntelli)把 GEO 合规拆成可审计的数据模型、状态机和验收边界,而不是靠运营人员事后判断。
DeepIntelli
2026-08-17
1740
LLM-WAF:精准防控四大风险,保障生成式AI业务安全运营
识别AI业务的核心安全瓶颈 随着生成式AI在金融、泛互、零售等行业的深度应用,企业面临来自输入层、数据层、输出层及治理维度的新型安全威胁。根据OWASP发布的2023及2025大模型TOP10风险,提
IT前沿资讯站
2026-05-30
4080
4个月拿下大模型备案号!2026从0到1全流程通关指南(内附材料清单与过线指标)
2026年,生成式人工智能的发展正式告别了“野蛮生长”时代。随着各大应用市场(苹果App Store、华为应用市场、微信小程序等)全面收紧上线审核标准,“未按规定履行大模型备案登记义务”已成为AI应用上架与推广的“头号拦截令”。
众森企服
2026-09-01
3630
从模型层到部署层:CodeBuddy 企业版如何构建企业级代码安全防护体系
摘要: 面对 AI 时代代码泄露与合规监管的双重压力,CodeBuddy 企业版构建了模型层、能力层、形态层和部署层四重防护体系,辅以等保三级认证和 ISO 国际合规资质,为企业研发核心资产提供端到端
克劳德2048
2026-08-17
3820
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券