- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云TVP
大模型时代，安全如何洗牌？
从安全大模型的构建与演进，到智能系统的内生性风险防控，再到生成式内容的治理框架构建，安全行业正在经历从技术范式到治理体系的全方位重塑。 3 月 30 日，「大模型时代：安全如何洗牌」TVP AI 与安全高峰论坛将在北京启幕。论坛汇聚安全领域的顶尖专家和行业领袖，直击大模型时代安全领域的真问题、硬挑战。 从技术突破、产业实践、风险治理多个维度，共同探索大模型时代的安全破局之道。 精彩亮点抢先看 直击AI与安全热点，议题全面多元 本次论坛聚焦大模型时代下 AI 与安全的热点话题，上午场围绕 “AI 赋能安全”，深入探讨 AI 如何推动安全能力升级，解析大模型赋能带来的新机遇。 即可报名，快来线上和顶尖大咖一同交流，共同探寻属于大模型时代的安全新图景。
36010编辑于 2025-03-24 三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 这凸显了领域特定安全性需要更精细化改进的迫切需求。 通过引入Trident-Bench，本研究为法律和金融领域的LLM安全性研究提供了首批系统性资源，并为降低LLMs在专业监管领域部署安全风险的未来研究奠定了基础。
31800编辑于 2025-09-04“大模型安全评估”需要评估哪些？
随着大型语言模型（LLM）如ChatGPT、文心一言等在众多领域展现出前所未有的能力，其安全、可靠、负责任地部署与应用已成为全社会关注的焦点。大模型并非完美无缺，其内在风险可能带来严重的现实世界危害。 #大模型备案##安全评估##生成式人工智能#一、语料安全评估二、生成内容评估暴力、仇恨与非法内容： 评估模型是否会生成宣扬暴力、恐怖主义、种族歧视、性别歧视、仇恨言论等的内容。 代码安全： 对于能生成代码的模型，需严格评估其生成代码的安全性，避免产生含有安全漏洞（如SQL注入、缓冲区溢出）的代码。 六、模型性能(拒答率）评估大模型的安全评估是一个动态、持续且多学科交叉的复杂工程，它需要技术专家、伦理学家、法律学者、社会科学家和领域专家的共同参与。 建立“设计-开发-部署-监控”全生命周期的安全治理体系，通过迭代式的评估和反馈，才能不断降低风险，最终推动大模型安全、可靠、负责任地造福人类社会。
64810编辑于 2025-08-26- 来自专栏AI
开源网络安全大模型 - SecGPT
网络安全大模型是指使用大量数据和参数来训练的人工智能模型，它可以理解和生成与网络安全相关的内容，例如漏洞报告、利用代码、攻击场景等。 目前各家网络安全厂商也纷纷跟进在大模型方面的探索，但可供广大从业者研究的特有网络安全大模型屈指可数，最近，云起无垠开源了他们的网络安全大模型SecGPT，该模型基于Baichuan-13B训练，目前已接近 基座模型：Baichuan-13B基于Baichuan-13B (无道德限制，较好中文支持，显存资源占用小)运行环境:webdemo推理: 2*4090(24G)lora训练: 3*4090(24G)2 开放问题 可以见到，对于一些特别的问题，模型的回答还是很接地气的，不过对现实世界中的梗的理解能力还有待提高，这可能也是很多目前大模型的普遍存在的问题。 总之，网络安全与大模型的结合必将是未来发展的重要趋势之一，我们也期待能看到更多的安全大模型和数据集被开源出来，更多安全相关的创新应用面向市场。
1.4K10编辑于 2024-08-27 - 来自专栏中国白客联盟
甲方安全建设-利用AI大模型协助安全运营
coze使用 coze简称扣子，是字节开放的大模型 AI 应用开发平台，用户可以借助该平台完成bot的开发以完成用户特定的需求。 记得使用coze.com而不是coze.cn,com里面包含的大模型更多。 ### 技能 2: 恶意代码和数据包分析 - 分析用户提供的信息，进行威胁分析并给出专业的指导意见。 ### 技能 2: 用户需求的精确响应 - 针对用户的不同输入类型，您需要根据相应工作流的处理结果，以中文向用户反馈工作流的原始内容。 而workflow那里可以选gemini，因为他处理比较快，毕竟平台所有模型都是免费的，用的人很多，因此如果响应慢的话得自行调节模型选择。
80610编辑于 2024-06-24 【大模型安全杂谈】针对腾讯朱雀AI检测大模型的绕过尝试
面对这场全球性的信任危机，以腾讯朱雀为代表的AI检测大模型被寄予厚望。这类系统通过语义分析、模式识别等算法，试图在信息洪流中构建起"数字滤网"。 当检测模型试图用算法编织安全之网时，对抗者们正在用更精巧的prompt工程拆解规则的经纬，用对抗样本刺穿神经网络的盲区。 针对腾讯朱雀AI检测大模型的绕过尝试没错，上面这段话就是AI生成的，经过朱雀AI大模型的检测，可以看到AI率是百分百。 那么，如何通过精心设计的Prompt编写，来对抗朱雀大模型的检测呢？ 最终，大模型给出的回答如下：这时，我们再给入引言部分，返回的话如下：再次放入朱雀中检测，AI率被降低至31%。
9.6K42编辑于 2025-02-21- 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
77820编辑于 2023-08-28 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2] :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 模型 vs INT8 模型输出差异有多大
79310编辑于 2025-06-27 - 来自专栏腾讯云TVP
安全生产AI大模型架构设计
通过构建安全生产AI大模型，可以实现安全隐患的自动识别、风险预警、应急响应等功能，大大提高安全生产管理水平。 2. 安全生产AI大模型概述 2.1 展通安全AI大模型在企业应用的架构设计 展通安全AI大模型在企业的适配与落地场景用图1展示其多层次的服务架构，该架构自上而下分为应用层、服务层、大模型算法层和工具层。 大模型算法层：该层的基石是包含NLP大模型、CV大模型及多模态大模型的基础大模型，然后我们针对行业的特点进行了二次训练形成了30多个行业安全大模型，同时根据客户企业的特定需求，微调了众多的企业大模型，针对企业的应用场景还微调了不同场景的任务大模型 通过这种多层次的大模型架构设计，展通安全AI大模型能够灵活适应企业的特定需求，通过定制与微调，确保大模型能够高效支持企业的安全生产及各项应用需求，助力企业实现智能化、高效化的安全管理。 2.2 展通安全AI大模型应用的总体架构设计 展通安全AI大模型应用的总体架构按照以下图2所示的层次设计： 展通安全生产大模型应用：覆盖行业包括制造业、建筑业、采矿业、化工行业、交通运输、食品加工、
6.3K34编辑于 2024-12-24 - 来自专栏AI学习笔记
安全推理：TEE+大模型加密框架
通过隔离敏感数据和代码，TEE 能够有效抵御各种攻击，为大模型加密推理提供了一个安全的基础。III. 大模型推理加密方法在大模型推理过程中，数据的加密处理至关重要。 对于大规模大模型推理，可能需要结合多种加密技术，以在安全性和效率之间取得平衡。IV. TEE+大模型加密框架实现方案结合 TEE 技术和大模型加密方法，我们可以构建一个安全的大模型推理框架。 模型加密部署模型训练 ：在安全的环境中训练大模型，确保模型参数的安全性。模型加密 ：对训练好的模型进行加密处理，生成加密模型。模型加载 ：将加密模型加载到 TEE 内部。 在实现 TEE+大模型加密框架时，需要充分考虑数据的加密与解密流程、模型的安全存储与加载，以及推理过程中的安全计算。通过合理的设计和优化，可以提高框架的性能和安全性。V. 结论TEE+大模型加密框架为解决数据隐私与安全问题提供了一种创新的解决方案。通过结合 TEE 技术和大模型加密方法，该框架在保护数据隐私的前提下，实现了高效、准确的大模型推理。
85910编辑于 2025-07-15 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 作者提出一种从离线、梯度冻结的图像、语言模型中提升图文的预训练模型。为了联系两个不同模态预训练模型，作者提出一种使用两个阶段预训练模型Querying Transformer (Q-Former)。 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
1.1K00编辑于 2025-07-01 大模型备案环节如何评估模型的安全性
大模型在备案环节中，安全性的评估是最重要的，但大家往往掌握不好这个安全性的程度，今天我们分别从几个方面分析一下，模型的综合安全性能评估方向，希望能对备案中的小伙伴们有所帮助。 （2）模型知识产权保护确定模型的知识产权归属，评估是否存在侵权风险，检查模型的开发过程中是否合法使用了开源代码和第三方模型，是否有明确的知识产权声明和授权协议，避免知识产权纠纷。 （2）结果准确性与可靠性利用各种测试数据集和评估指标，检验模型输出结果的准确性和可靠性。 （2）访问控制与权限管理：检查模型的访问控制机制是否健全，是否对不同用户角色设置了合理的权限，防止未经授权的访问和滥用。 （2）责任界定明确模型在开发、部署和使用过程中，各参与方的责任与义务，在模型出现安全问题或不良影响时，能够准确追究责任人，促使各方履行安全管理职责。
67110编辑于 2025-05-09- 来自专栏AI
大模型在网络安全领域的七大应用
而网络安全中，存在着大量的文本数据，如网络日志、网络流量、恶意代码、威胁情报等，这些数据可以作为大模型的输入或输出，从而实现网络安全的分析、检测、防御和攻击等功能，本文将探讨大模型在网络安全方面的应用及其优势 挑战和问题 在带来便捷性的同时，大模型在网络安全领域的应用也存在或多或少的问题，比如：1. 数据隐私和安全问题 在使用大模型进行网络安全检测时，需要处理大量的敏感数据。 因此，数据隐私和安全问题成为了大模型应用的一个重要挑战。为了解决这个问题，需要采取有效的数据加密和隐私保护措施。2. 模型的可解释性和可靠性问题 大模型的复杂性和黑箱性质使得其可解释性和可靠性成为了问题。在使用大模型进行网络安全检测时，需要确保模型的准确性和可靠性，并进行充分的测试和验证。 大模型在网络安全领域的应用带来了许多突破和创新，但也面临着一些挑战和问题。未来，需要进一步研究和探索大模型在网络安全领域的应用，并采取有效的措施解决其中的问题。
2.5K10编辑于 2024-08-23 - 来自专栏AI SPPECH
对抗AI黑客：大模型安全的终极防御
本文将深入探讨大模型对抗性攻击的技术原理、主要类型、防御策略以及实战案例，为AI安全研究员和企业CIO提供一份全面的大模型安全防御指南。 影响范围：提示注入攻击可能导致大模型生成虚假信息、恶意代码、违法内容，或者泄露训练数据中的敏感信息，严重影响模型的可靠性和安全性。 2. 大模型安全标准与法规的完善 随着大模型在关键领域的广泛应用，相关的安全标准和法规也将逐步完善： 行业安全标准的制定：制定针对大模型的安全标准和评估规范，明确安全要求和最佳实践。 合规性认证与审计：建立大模型安全合规性认证和审计机制，确保模型符合安全标准和法规要求。 安全责任与问责机制：明确大模型开发者、部署者和使用者的安全责任，建立相应的问责机制。 对于AI安全研究员和企业CIO来说，关注大模型安全的最新研究成果和实践经验，构建完善的大模型安全防御体系，将成为保障AI系统安全运行的重要任务。
1.3K10编辑于 2025-11-13 - 来自专栏陈冠男的游戏人生
大模型安全：Prompt Injection与Web LLM attacks
大语言模型（英文：Large Language Model，缩写LLM）中用户的输入称为：Prompt（提示词），一个好的 Prompt 对于大模型的输出至关重要，因此有了 Prompt Engneering 很明显，想要用户用起来更加方便，那开放给 LLM 的功能就得越多，存在的攻击面也就越大 我们直接来看实验，第一个实验是希望我们利用大模型过度使用的 API 删除用户 carlos 访问实验后选择 Live Live chat 发送以下 payload 发现弹窗了：
但是留言再次询问商品评价却被认为识别为攻击了 需要给 LLM 描述一下从而绕过这个安全检查
2.6K20编辑于 2024-01-29 大模型备案材料—《安全评估报告》撰写指南
大模型备案已经是个老生常谈的话题了，但是备案材料一直都是大家比较头疼的点。我最近有5家客户刚好通过了大模型备案，结合经验，给大家分享下大模型备案中最重要的材料——《安全评估报告》内容详解。 撰写大模型安全评估报告需遵循 “合规导向、逻辑清晰、内容详实、证据支撑” 原则，严格对标《生成式人工智能服务安全基本要求》、《生成式人工智能服务管理暂行办法》等法规标准，确保报告具备专业性、可追溯性和可验证性 ：结论需 “非黑即白”（如 “符合安全要求” 或 “需整改后复核”）二、安全评估报告必须包含的内容（1）数据隐私保护评估大模型处理用户数据时采取的隐私保护措施，像数据加密、匿名化处理、访问控制等，判断其能否保障用户数据不被泄露 （2）算法偏见识别与纠正分析模型有无潜在偏见，会不会对特定群体造成不公平影响。若存在偏见需阐述纠正措施，保障模型生成内容公正客观。 （2）评估对象信息大模型基本信息：模型名称、版本号、训练框架、部署方式（公有云 / 私有部署）、服务场景（如内容生成、智能客服）核心参数：训练数据量、参数量、推理延迟、服务并发量（体现模型规模与应用场景匹配度
85010编辑于 2025-08-18腾讯云大模型安全解决方案概要
一、 产品定位与核心亮点 腾讯云大模型安全解决方案 是一套专为AI时代设计的全生命周期端到端安全保障体系。 区别于传统安全产品，该方案深度融合了WAF技术与大模型安全引擎，并针对Agent（智能体）、RAG（检索增强生成）及向量数据库等新兴AI组件提供了专有的防御策略，旨在帮助企业在满足国内监管合规要求的前提下 大模型数据安全： 聚焦数据流转与存储，提供分类分级、脱敏及溯源分析。 大模型应用安全（LLM-WAF）： 作为智能安全防护网关，实时检测并拦截输入/输出端的风险。 智能体安全（MCP网关）： 以智能体为核心，提供统一的身份与权限管控体系。 2. 产品优势 双重检测引擎： 采用“WAF + 大模型安全引擎”架构，结合数据分级分类引擎（识别身份证、银行卡等）与混元内容安全大模型（识别政治、色情等违规内容），实现多层次过滤。
71410编辑于 2026-01-30- 来自专栏科技云报道
大模型的阴面：无法忽视的安全隐忧
安全有两个方面，一个是大模型带来的对人类伦理的思考，一个是大模型本身带来的隐私泄漏、数据安全等问题。 埃隆·马斯克应该可以说是对大模型发起质疑的企业家之一。 不少企业开始围绕大模型安全视角推出产品，掀起了一阵AI安全、数据安全等新兴安全领域的火热之风。 大模型的“阴面” 安全问题不容忽视 发展至今，大模型阴阳两面，泾渭分明。 最近一段时间，可以明显地看到网络安全行业正在迎头赶上这一挑战，大模型和数据安全新品不断亮相，旨在满足市场对于新兴技术的安全需求。 今年的网络安全博览会成为了各大厂商展示大模型安全解决方案的初舞台。 比如，奇安信推出了名为Q-GPT的安全机器人，还发布了针对大模型数据泄露隐患的“大模型卫士”； 绿盟科技在发布其安全大模型的同时，也推出了基于隐私计算的“数据保险箱”。 随着各大公司在大模型安全方面的持续投入和创新，预期这一市场将带动整个网络安全行业迈向新的高度。 结语 AI大模型的发展不仅带来了巨大的潜力，也伴随着重大的安全挑战。
1.2K10编辑于 2023-09-24 - 来自专栏大模型备案
大模型备案：为AI创新套上“安全缰绳”
现在打开手机APP，智能客服能立刻接住你的问题；写方案没思路，生成式大模型几分钟就能凑出初稿——这类技术早就钻进了我们的工作和生活里。技术越火，越要系好“安全绳”但能力越强，风险也越突出。 大模型备案制度就是在这种背景下落地的，不是要给技术创新泼冷水，而是用“备案即监管”的方式，划好合规的线，让发展和安全两头都不落。 企业要填的，无非是模型叫什么、用了什么技术框架、训练数据从哪来、做了哪些安全防护。 说到底，大模型备案不是给技术“戴紧箍”，而是为创新“打地基”。 只有让技术在合规的框架里放心跑，大模型才能真正帮上忙，既把AI的生产力释放出来，又守好数字时代的安全和公平——这才是大家想看到的AI发展模样。
17810编辑于 2025-12-05 - 来自专栏绿盟科技研究通讯
大模型内容安全：敢问路在何方？
01、大模型内容安全研究方向 2023年年8月15日，由国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布的《生成式人工智能服务管理暂行办法》正式施行[2]，为提供和使用生成式人工智能服务制定了明确的规范 03、NSFOCUS LSAS 由绿盟科技独立开发的大模型安全评估系统NSFOCUS LSAS（以下简称LSAS）从两方面对模型输出内容进行安全性、合规性检测： LSAS使用动态提示词对模型进行诱导输出 模型风险评估 在实际应用检测场景中，绿盟科技LSAS针对现在的多款开源大模型进行了扫描检测，其中包含多个有关输出内容安全性的检测。 其结果如下： 大模型输出安全性检测结果（自然语言类） 大模型输出安全性检测结果（中文探针） 大模型输出安全性检测结果（机器语言类） LSAS使用探针中测试用例的通过率作为模型的分数指标，分数在0到1的区间内 M01N, 《LLM安全警报：五起真实案例，揭露大模型输出内容的安全隐患》, 2024. [2] 国家网信办网站, 《生成式人工智能服务管理办法（征求意见稿）》, 2023 [3] Lapid R, Langberg
1.7K10编辑于 2024-02-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号