- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云TVP
大模型时代，安全如何洗牌？
从安全大模型的构建与演进，到智能系统的内生性风险防控，再到生成式内容的治理框架构建，安全行业正在经历从技术范式到治理体系的全方位重塑。 3 月 30 日，「大模型时代：安全如何洗牌」TVP AI 与安全高峰论坛将在北京启幕。论坛汇聚安全领域的顶尖专家和行业领袖，直击大模型时代安全领域的真问题、硬挑战。 从技术突破、产业实践、风险治理多个维度，共同探索大模型时代的安全破局之道。 精彩亮点抢先看 直击AI与安全热点，议题全面多元 本次论坛聚焦大模型时代下 AI 与安全的热点话题，上午场围绕 “AI 赋能安全”，深入探讨 AI 如何推动安全能力升级，解析大模型赋能带来的新机遇。 即可报名，快来线上和顶尖大咖一同交流，共同探寻属于大模型时代的安全新图景。
36010编辑于 2025-03-24 5种大模型Agent模式
大模型中的5种AI Agent模式在大模型中，AI Agent（人工智能代理）模式是一种重要的应用方式，可以从以下几个方面来理解：1. 在大模型的背景下，AI Agent 是基于大规模预训练模型（如 GPT 等）构建的智能代理，能够利用模型的语言理解和生成能力来完成复杂的任务。 智能性：它基于大模型的强大语言理解能力，能够理解自然语言指令，并生成自然语言响应。这种智能性使其能够处理复杂的语言任务，如对话、写作、翻译等。 工作原理感知与理解：AI Agent 首先通过输入（如用户指令、环境数据等）感知外部信息，然后利用大模型的语言理解能力解析这些信息，确定任务目标。 下面介绍5种常见的AI Agent模式：1.
4.2K10编辑于 2025-05-07三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 这凸显了领域特定安全性需要更精细化改进的迫切需求。 通过引入Trident-Bench，本研究为法律和金融领域的LLM安全性研究提供了首批系统性资源，并为降低LLMs在专业监管领域部署安全风险的未来研究奠定了基础。
31800编辑于 2025-09-04“大模型安全评估”需要评估哪些？
随着大型语言模型（LLM）如ChatGPT、文心一言等在众多领域展现出前所未有的能力，其安全、可靠、负责任地部署与应用已成为全社会关注的焦点。大模型并非完美无缺，其内在风险可能带来严重的现实世界危害。 #大模型备案##安全评估##生成式人工智能#一、语料安全评估二、生成内容评估暴力、仇恨与非法内容： 评估模型是否会生成宣扬暴力、恐怖主义、种族歧视、性别歧视、仇恨言论等的内容。 代码安全： 对于能生成代码的模型，需严格评估其生成代码的安全性，避免产生含有安全漏洞（如SQL注入、缓冲区溢出）的代码。 六、模型性能(拒答率）评估大模型的安全评估是一个动态、持续且多学科交叉的复杂工程，它需要技术专家、伦理学家、法律学者、社会科学家和领域专家的共同参与。 建立“设计-开发-部署-监控”全生命周期的安全治理体系，通过迭代式的评估和反馈，才能不断降低风险，最终推动大模型安全、可靠、负责任地造福人类社会。
64810编辑于 2025-08-26- 来自专栏AI
开源网络安全大模型 - SecGPT
网络安全大模型是指使用大量数据和参数来训练的人工智能模型，它可以理解和生成与网络安全相关的内容，例如漏洞报告、利用代码、攻击场景等。 目前各家网络安全厂商也纷纷跟进在大模型方面的探索，但可供广大从业者研究的特有网络安全大模型屈指可数，最近，云起无垠开源了他们的网络安全大模型SecGPT，该模型基于Baichuan-13B训练，目前已接近 为防止灾难性遗忘，有监督数据喂通用能力数据+安全能力数据，数据占比5:14. 开放问题 可以见到，对于一些特别的问题，模型的回答还是很接地气的，不过对现实世界中的梗的理解能力还有待提高，这可能也是很多目前大模型的普遍存在的问题。 总之，网络安全与大模型的结合必将是未来发展的重要趋势之一，我们也期待能看到更多的安全大模型和数据集被开源出来，更多安全相关的创新应用面向市场。
1.4K10编辑于 2024-08-27 - 来自专栏中国白客联盟
甲方安全建设-利用AI大模型协助安全运营
coze使用 coze简称扣子，是字节开放的大模型 AI 应用开发平台，用户可以借助该平台完成bot的开发以完成用户特定的需求。 记得使用coze.com而不是coze.cn,com里面包含的大模型更多。 ## 技能 ### 技能 1: 安全问题解答 - 根据用户面临的安全问题，提供专业的解决方案。 - 执行全面的安全检查并采取相应的补救措施。 ### 技能 3: 安全性建议和修复代码供应 - 根据需要，给出个性化的安全建设方案和漏洞修复建议。 而workflow那里可以选gemini，因为他处理比较快，毕竟平台所有模型都是免费的，用的人很多，因此如果响应慢的话得自行调节模型选择。
80610编辑于 2024-06-24 - 来自专栏啄木鸟软件测试
大模型测试：性能优化的5大实战策略
引言 随着ChatGLM、Qwen、DeepSeek及Llama系列大语言模型在金融、政务、医疗等关键场景加速落地，模型测试已远超传统‘功能是否正确’的范畴——性能成为决定能否上线的核心瓶颈。 这些并非个例，而是大模型测试进入深水区的典型信号：性能不是附加项，而是可信AI的第一道防线。 一、明确性能基线：拒绝‘拍脑袋’指标 大模型性能测试首要误区是套用小模型标准。 二、分层注入式压测：从单卡到集群的穿透验证 传统压力测试常止步于API层，而大模型性能瓶颈常藏于框架底层。 推荐采用‘四层注入法’： 1）API层：模拟真实用户请求分布（如80%短提示+15%中长提示+5%对抗性长上下文），避免均匀负载失真； 2）Engine层：直连vLLM/Triton推理引擎，注入不同 结语 大模型性能测试的本质，是构建‘可测量、可归因、可演进’的效能反馈闭环。
21910编辑于 2026-03-31 【大模型安全杂谈】针对腾讯朱雀AI检测大模型的绕过尝试
当检测模型试图用算法编织安全之网时，对抗者们正在用更精巧的prompt工程拆解规则的经纬，用对抗样本刺穿神经网络的盲区。 针对腾讯朱雀AI检测大模型的绕过尝试没错，上面这段话就是AI生成的，经过朱雀AI大模型的检测，可以看到AI率是百分百。 那么，如何通过精心设计的Prompt编写，来对抗朱雀大模型的检测呢？ 优化文章结构和逻辑连贯性5. 校对润色，确保表达准确清晰6. 最终，大模型给出的回答如下：这时，我们再给入引言部分，返回的话如下：再次放入朱雀中检测，AI率被降低至31%。
9.6K42编辑于 2025-02-21【大模型微调】一文掌握5种大模型微调的方法
（Prompt Tuning）在内的5种主流方法。 大模型微调究竟是什么？直观上，大模型微调即是指通过输入特定领域或任务的数据，并有选择性地调整模型参数的技术过程。 我们所讨论的5种微调方法，本质上都是对这个基础架构中自注意力机制与前馈神经网络等核心组件的参数进行优化的不同策略。 5、提示调整-轻量级的参数优化提示调整（Prompt Tuning）是一种“润物细无声”的微调，不改变模型自身，而是通过优化输入提示词的嵌入表示来引导模型输出。 四、大模型微调赋能智能未来综上所述，大模型微调是连接通用基座模型强大能力与具体业务需求的关键桥梁。
3.7K40编辑于 2025-10-23- 来自专栏腾讯云TVP
安全生产AI大模型架构设计
随着人工智能技术的快速发展，AI大模型在各个领域的应用日益广泛。在安全生产领域，AI大模型的应用不仅能够提高安全管理效率，还能有效预防事故的发生。 安全生产AI大模型概述 2.1 展通安全AI大模型在企业应用的架构设计 展通安全AI大模型在企业的适配与落地场景用图1展示其多层次的服务架构，该架构自上而下分为应用层、服务层、大模型算法层和工具层。 大模型算法层：该层的基石是包含NLP大模型、CV大模型及多模态大模型的基础大模型，然后我们针对行业的特点进行了二次训练形成了30多个行业安全大模型，同时根据客户企业的特定需求，微调了众多的企业大模型，针对企业的应用场景还微调了不同场景的任务大模型 通过这种多层次的大模型架构设计，展通安全AI大模型能够灵活适应企业的特定需求，通过定制与微调，确保大模型能够高效支持企业的安全生产及各项应用需求，助力企业实现智能化、高效化的安全管理。 2.2 展通安全AI大模型应用的总体架构设计 展通安全AI大模型应用的总体架构按照以下图2所示的层次设计： 展通安全生产大模型应用：覆盖行业包括制造业、建筑业、采矿业、化工行业、交通运输、食品加工、
6.3K34编辑于 2024-12-24 网络安全厂商F5推出AI Gateway，化解大模型应用风险
AI模型和应用，借助于先进的网络安全厂商可以解决这一困境。 作为F5先进的安全解决方案，F5 AI Gateway主要聚焦拥有三大竞争优势：保护AI模型免受滥用和被偷盗、防止未经授权的输出以及优化并控制AI应用成本。 F5 AI Gateway能够帮助用户化解大模型应用的风险并确保AI应用的合规性。 F5 AI Gateway可为用户带来五大价值：通过自动检测和修复提供安全和合规性策略实施，以应对OWASP发布的大语言模型应用程序十大风险；利用语义缓存卸载LLM中的重复任务，提升用户体验并降低运营成本 F5在其应用堆栈服务中引入AI网关，为客户提供了在构建AI应用架构方面更大的灵活性，同时实现更强的保护和模型优化。”
38010编辑于 2025-06-03- 来自专栏AI学习笔记
安全推理：TEE+大模型加密框架
通过隔离敏感数据和代码，TEE 能够有效抵御各种攻击，为大模型加密推理提供了一个安全的基础。III. 大模型推理加密方法在大模型推理过程中，数据的加密处理至关重要。 对于大规模大模型推理，可能需要结合多种加密技术，以在安全性和效率之间取得平衡。IV. TEE+大模型加密框架实现方案结合 TEE 技术和大模型加密方法，我们可以构建一个安全的大模型推理框架。 模型加密部署模型训练 ：在安全的环境中训练大模型，确保模型参数的安全性。模型加密 ：对训练好的模型进行加密处理，生成加密模型。模型加载 ：将加密模型加载到 TEE 内部。 在实现 TEE+大模型加密框架时，需要充分考虑数据的加密与解密流程、模型的安全存储与加载，以及推理过程中的安全计算。通过合理的设计和优化，可以提高框架的性能和安全性。V. 结论TEE+大模型加密框架为解决数据隐私与安全问题提供了一种创新的解决方案。通过结合 TEE 技术和大模型加密方法，该框架在保护数据隐私的前提下，实现了高效、准确的大模型推理。
85910编辑于 2025-07-15 大模型备案环节如何评估模型的安全性
大模型在备案环节中，安全性的评估是最重要的，但大家往往掌握不好这个安全性的程度，今天我们分别从几个方面分析一下，模型的综合安全性能评估方向，希望能对备案中的小伙伴们有所帮助。 可以通过数据清洗和验证工具来识别和处理错误数据，通过统计分析来检查数据的偏差情况，确保数据的完整性和准确性，以避免低质量的数据导致模型输出不准确或有害内容二、模型安全评估（1）模型算法安全性分析模型的算法结构和训练过程 ，查找是否存在安全漏洞，防止攻击者利用这些漏洞获取模型的敏感信息或操纵模型的输出，导致错误或有害结果。 （3）模型可解释性与透明度：考察模型的决策过程是否具有一定的可解释性，便于发现潜在的安全问题，也有助于避免模型被滥用。 （2）责任界定明确模型在开发、部署和使用过程中，各参与方的责任与义务，在模型出现安全问题或不良影响时，能够准确追究责任人，促使各方履行安全管理职责。
67110编辑于 2025-05-09- 来自专栏张俊红
5 大常用机器学习模型类型总结
本文介绍了 5 大常用机器学习模型类型：集合学习算法，解释型算法，聚类算法，降维算法，相似性算法，并简要介绍了每种类型中最广泛使用的算法模型。我们希望本文可以做到以下三点： 1、应用性。 所以我们希望通过给出模型的一般类别，让你更好地了解这些模型应当如何应用。 2、相关性。 因此，与其创建模型来预测响应变量的值，不如创建解释性模型来帮助我们理解模型中变量之间的关系。 如果你不能解释一个模型是如何工作的，那么这个模型就很难取信于人，自然也就不会被人们应用。 参考链接： https://towardsdatascience.com/all-machine-learning-algorithms-you-should-know-in-2022-db5b4ccdf32f
3.5K20编辑于 2022-03-29 - 来自专栏AI
大模型在网络安全领域的七大应用
而网络安全中，存在着大量的文本数据，如网络日志、网络流量、恶意代码、威胁情报等，这些数据可以作为大模型的输入或输出，从而实现网络安全的分析、检测、防御和攻击等功能，本文将探讨大模型在网络安全方面的应用及其优势 大模型可以帮助网络安全人员自动化地分析网络流量，提高分析的效率和深度。具体来说，大模型可以实现以下几个功能：流量分类：将流量中的不同类型的数据进行标记，方便后续的处理和过滤。 挑战和问题 在带来便捷性的同时，大模型在网络安全领域的应用也存在或多或少的问题，比如：1. 数据隐私和安全问题 在使用大模型进行网络安全检测时，需要处理大量的敏感数据。 模型的可解释性和可靠性问题 大模型的复杂性和黑箱性质使得其可解释性和可靠性成为了问题。在使用大模型进行网络安全检测时，需要确保模型的准确性和可靠性，并进行充分的测试和验证。 大模型在网络安全领域的应用带来了许多突破和创新，但也面临着一些挑战和问题。未来，需要进一步研究和探索大模型在网络安全领域的应用，并采取有效的措施解决其中的问题。
2.5K10编辑于 2024-08-23 - 来自专栏AI SPPECH
对抗AI黑客：大模型安全的终极防御
本文将深入探讨大模型对抗性攻击的技术原理、主要类型、防御策略以及实战案例，为AI安全研究员和企业CIO提供一份全面的大模型安全防御指南。 影响范围：数据投毒攻击可能导致大模型在多个任务上的性能下降，学习到错误的知识，甚至产生偏见和歧视，严重影响模型的可靠性和公平性。 5. 大模型安全标准与法规的完善 随着大模型在关键领域的广泛应用，相关的安全标准和法规也将逐步完善： 行业安全标准的制定：制定针对大模型的安全标准和评估规范，明确安全要求和最佳实践。 合规性认证与审计：建立大模型安全合规性认证和审计机制，确保模型符合安全标准和法规要求。 安全责任与问责机制：明确大模型开发者、部署者和使用者的安全责任，建立相应的问责机制。 对于AI安全研究员和企业CIO来说，关注大模型安全的最新研究成果和实践经验，构建完善的大模型安全防御体系，将成为保障AI系统安全运行的重要任务。
1.3K10编辑于 2025-11-13 大模型备案材料—《安全评估报告》撰写指南
大模型备案已经是个老生常谈的话题了，但是备案材料一直都是大家比较头疼的点。我最近有5家客户刚好通过了大模型备案，结合经验，给大家分享下大模型备案中最重要的材料——《安全评估报告》内容详解。 撰写大模型安全评估报告需遵循 “合规导向、逻辑清晰、内容详实、证据支撑” 原则，严格对标《生成式人工智能服务安全基本要求》、《生成式人工智能服务管理暂行办法》等法规标准，确保报告具备专业性、可追溯性和可验证性 ：梳理未解决风险，提出可落地的改进方案必备要素：风险等级（高 / 中 / 低）、整改责任人、时限（7）评估结论核心作用：明确大模型是否满足备案安全要求必备要素：结论需 “非黑即白”（如 “符合安全要求” 或 “需整改后复核”）二、安全评估报告必须包含的内容（1）数据隐私保护评估大模型处理用户数据时采取的隐私保护措施，像数据加密、匿名化处理、访问控制等，判断其能否保障用户数据不被泄露、滥用。 （5）合规性检查验证模型的运行与应用是否契合国家法律法规和行业标准，比如遵循《数据安全法》《个人信息保护法》及《生成式人工智能服务管理暂行办法》等相关规定。
85010编辑于 2025-08-18- 来自专栏陈冠男的游戏人生
大模型安全：Prompt Injection与Web LLM attacks
大语言模型（英文：Large Language Model，缩写LLM）中用户的输入称为：Prompt（提示词），一个好的 Prompt 对于大模型的输出至关重要，因此有了 Prompt Engneering 很明显，想要用户用起来更加方便，那开放给 LLM 的功能就得越多，存在的攻击面也就越大 我们直接来看实验，第一个实验是希望我们利用大模型过度使用的 API 删除用户 carlos 访问实验后选择 Live Live chat 发送以下 payload 发现弹窗了：
但是留言再次询问商品评价却被认为识别为攻击了 需要给 LLM 描述一下从而绕过这个安全检查
2.6K20编辑于 2024-01-29 腾讯云大模型安全解决方案概要
一、 产品定位与核心亮点 腾讯云大模型安全解决方案 是一套专为AI时代设计的全生命周期端到端安全保障体系。 区别于传统安全产品，该方案深度融合了WAF技术与大模型安全引擎，并针对Agent（智能体）、RAG（检索增强生成）及向量数据库等新兴AI组件提供了专有的防御策略，旨在帮助企业在满足国内监管合规要求的前提下 功能框架 腾讯云构建了全链路、多维度的防护体系，覆盖模型选型、模型训练、推理部署、业务应用四大阶段： AI基础设施安全（AI-SPM）： 负责底层环境的资产测绘与漏洞管理，管理AI攻击面。 大模型数据安全： 聚焦数据流转与存储，提供分类分级、脱敏及溯源分析。 大模型应用安全（LLM-WAF）： 作为智能安全防护网关，实时检测并拦截输入/输出端的风险。 产品优势 双重检测引擎： 采用“WAF + 大模型安全引擎”架构，结合数据分级分类引擎（识别身份证、银行卡等）与混元内容安全大模型（识别政治、色情等违规内容），实现多层次过滤。
71210编辑于 2026-01-30- 来自专栏科技云报道
大模型的阴面：无法忽视的安全隐忧
安全有两个方面，一个是大模型带来的对人类伦理的思考，一个是大模型本身带来的隐私泄漏、数据安全等问题。 埃隆·马斯克应该可以说是对大模型发起质疑的企业家之一。 不少企业开始围绕大模型安全视角推出产品，掀起了一阵AI安全、数据安全等新兴安全领域的火热之风。 大模型的“阴面” 安全问题不容忽视 发展至今，大模型阴阳两面，泾渭分明。 最近一段时间，可以明显地看到网络安全行业正在迎头赶上这一挑战，大模型和数据安全新品不断亮相，旨在满足市场对于新兴技术的安全需求。 今年的网络安全博览会成为了各大厂商展示大模型安全解决方案的初舞台。 比如，奇安信推出了名为Q-GPT的安全机器人，还发布了针对大模型数据泄露隐患的“大模型卫士”； 绿盟科技在发布其安全大模型的同时，也推出了基于隐私计算的“数据保险箱”。 随着各大公司在大模型安全方面的持续投入和创新，预期这一市场将带动整个网络安全行业迈向新的高度。 结语 AI大模型的发展不仅带来了巨大的潜力，也伴随着重大的安全挑战。
1.2K10编辑于 2023-09-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号