- 综合排序
- 最热优先
- 最新优先
【大模型安全杂谈】针对腾讯朱雀AI检测大模型的绕过尝试
面对这场全球性的信任危机，以腾讯朱雀为代表的AI检测大模型被寄予厚望。这类系统通过语义分析、模式识别等算法，试图在信息洪流中构建起"数字滤网"。 针对腾讯朱雀AI检测大模型的绕过尝试没错，上面这段话就是AI生成的，经过朱雀AI大模型的检测，可以看到AI率是百分百。 在下面的介绍中，我们可以看到朱雀AI检测的能力和检测方法：文本检测中，LLM 通常以低困惑度和突发性编写文本，因此包括GPT-4、Claude和DeepSeek等在内的SOTA模型，都在我们的可检测范围内 那么，如何通过精心设计的Prompt编写，来对抗朱雀大模型的检测呢？ 最终，大模型给出的回答如下：这时，我们再给入引言部分，返回的话如下：再次放入朱雀中检测，AI率被降低至31%。
9.4K42编辑于 2025-02-21- 来自专栏贾志刚-OpenCV学堂
工业异常检测视觉大模型AnomalyGPT来了
AnomalyGPT介绍 异常GPT是第一种基于视觉大模型（LVLM）的工业异常检测方法，该方法可以在不需要手动指定阈值的情况下检测工业图像中的异常。 现有的工业异常检测方法只能提供异常分数，需要手动设置阈值，而现有的视觉大模型无法检测图像中的异常。异常GPT不仅可以指示异常的存在和位置，还可以提供有关图像的信息。 模型结构 异常GPT利用预先训练的图像编码器（卷积神经网络）和大型语言模型（LLM），通过模拟的异常数据来对齐工业异常检测图像及其相应的文本描述。 异常GPT使用了一种轻量级的、基于视觉文本特征匹配的图像解码器来获得定位结果，并设计通过提示学习的方式来为大语言模型(LLM)提供细粒度的语义，使用提示词嵌入实现对视觉大语言模型的迁移学习微调。 源码地址： 对比测试 模型基于Halcon的工业异常缺陷数据集训练以后，在提示工程提示词辅助下 异常GPT展现出了惊人的零样本缺陷检测能力与缺陷定位能力，从此 算法工程师再也不用为找不到缺陷样本而烦恼了
3.7K11编辑于 2024-04-30 - 来自专栏深度学习自然语言处理
每日论文速递 | InterrogateLLM: 大模型幻觉检测框架
深度学习自然语言处理 分享 整理：pp 摘要：尽管大语言模型（LLMs）取得了许多进步，并以前所未有的速度迅速发展，但由于种种原因，它们对我们日常生活方方面面的影响和整合仍然有限。 在本文中，我们提出了一种在大型语言模型中检测幻觉的新方法InterrogateLLM，它解决了在各种真实世界场景中采用这些模型的关键问题。 实验结果表明，该方法能够有效地检测出幻觉，并在不同的数据集和模型上取得了较高的准确率。 改进模型架构：研究不同的模型架构对幻觉检测性能的影响，例如使用Transformer模型的不同变体或结合多种模型的优势。 长期影响评估：研究长期使用InterrogateLLM对模型性能的影响，包括幻觉检测的长期效果和模型对幻觉的适应性。
1.5K10编辑于 2024-03-25 工业视觉检测：多模态大模型的诱惑
二、先搞清楚现状：YOLO已经是事实标准在聊多模态大模型之前，先明确一个背景：当前工业视觉检测的主流方案，是以YOLO系列为代表的目标检测/分割模型。这不是什么新鲜事。 诱惑四：交互式检测传统方案：检测逻辑是固定的，写死在模型里。想改检测标准，得重新训练。多模态大模型：可以通过Prompt动态调整检测标准。 答案是清楚的：在当前的技术成熟度下，多模态大模型不适合作为工业视觉检测的主力方案。 多模态大模型可以做什么？把结构化的检测结果，转化成自然语言的质检报告。 而最务实的选择，往往是混合架构：·YOLO做主力检测·大模型做辅助（标注、兜底、报告生成）·各取所长，成本可控九、写在最后回到开头那个问题：多模态大模型能替代YOLO吗？
51821编辑于 2026-01-12- 来自专栏腾讯开源的专栏
开源公告｜AI-Infra-Guard(AI基础设施安全评估工具) 发布
项目简介 AI Infra Guard(AI Infrastructure Guard) 是由混元安全团队-朱雀实验室研发的一款高效、轻量、易用的AI基础设施安全评估工具，专为发现和检测AI系统潜在安全风险而设计 基础设施的安全威胁 ● 易于使用 开箱即用，无复杂配置 指纹、漏洞YAML规则定义 灵活的匹配语法 ● 轻量级 核心组件简洁高效 二进制体积小，资源占用低 跨平台支持 适用场景 针对企业内AI基础设施系统的漏洞检测和修复 ，可用于AI 开发环境安全检测、巡检、运维，DevSecOps 集成等场景。 ● AI分析 通过参数-ai开启ai报告功能，默认使用混元大模型总结，如使用其他模型请设置环境变量 OPENAI_API_KEY、OPENAI_BASE_URL、OPENAI_MODEL。 =` 不等 ● `~=` 正则匹配 ● `&&` 与 ● `||` 或 ● `()` 括号分组 关于腾讯朱雀实验室 朱雀实验室由腾讯安全平台部于2019年成立，聚焦AI与大模型基础设施安全、大模型内生安全与大模型赋能安全等领域的前沿技术研究与业务安全保障
2.4K10编辑于 2025-02-05 - 来自专栏AI+运维：智能化运维的未来
大模型也能当“运维警察”？——大模型技术在异常检测中的应用
大模型也能当“运维警察”？——大模型技术在异常检测中的应用1. 前言：运维的噩梦——异常检测作为一名运维，最怕的就是半夜被电话叫醒：“系统挂了！”——更可怕的是，报警一响，却找不到具体问题在哪里。 让大模型来帮我们干活！2. 大模型如何助力异常检测？ （Transformer, GPT等）异常检测、日志分析、指标预测无需特征工程，能学习复杂模式计算资源需求高2.2 大模型的核心思想大模型用于异常检测的基本思路可以概括为以下几种方式：日志异常检测：使用 代码实战：用Transformer进行异常检测下面我们用Python+PyTorch实现一个简单的基于Transformer的大模型异常检测。 未来展望：大模型+运维还能玩出啥花样？大模型在运维领域的应用，远不止异常检测这么简单。智能日志分析：基于ChatGPT等大模型解析海量日志，快速找到问题根因。
89200编辑于 2025-03-29 - 来自专栏AI SPPECH
大模型驱动的日志智能分析与异常检测
本文将深入探讨大模型在日志智能分析与异常检测中的应用，包括日志分析的基础概念、传统方法的挑战、大模型的价值、系统架构设计、核心技术实现、应用场景与案例、最佳实践及未来趋势，帮助运维工程师构建智能、高效的日志分析与异常检测体系 持续学习：通过反馈不断优化和改进分析能力 3.2 大模型驱动的日志分析优势 相比传统的日志分析方法，大模型驱动的日志分析具有以下优势： 提高日志处理效率：自动化分析和处理海量日志数据 增强异常检测能力 ，引入大模型增强其智能化能力 智能日志解析：利用大模型自动解析和理解各种格式的日志 异常检测增强：利用大模型提升异常检测的准确性和效率 根因分析自动化：基于大模型实现根因分析的自动化 报告自动生成：利用大模型自动生成日志分析报告 ：利用大模型和检测组件检测日志中的异常 根因分析流程：利用大模型和分析组件分析异常的根本原因 结果生成流程：生成分析结果和可视化内容 反馈流程：收集用户反馈，用于模型的持续优化 知识更新流程：基于分析结果和反馈 基于大模型的智能方案： 性能异常自动检测：利用大模型实时监测应用性能指标，自动发现性能异常 性能瓶颈智能定位：通过分析应用日志和性能数据，智能定位性能瓶颈 优化建议自动生成：基于分析结果，自动生成性能优化建议
76523编辑于 2025-11-13 新工具RefChecker助力精准检测大语言模型幻觉
新工具与数据集助力检测大语言模型中的幻觉尽管大型语言模型能力非凡，但其存在一个致命弱点：倾向于产生“幻觉”，即听起来合理但事实不准确的断言。 以往的幻觉检测框架使用句子或短短语来表征大语言模型生成文本中的事实断言，而 RefChecker 则使用具有 <主体, 谓词, 客体> 结构的知识三元组（与知识图谱中表示数据所用的结构相同）。 这能够实现对大语言模型输出更细粒度的评估，从而更加精确和更具信息量。该基准数据集涵盖三种不同的场景：零上下文：大语言模型在没有任何参考文本的情况下生成文本来回答问题。 幻觉检测幻觉检测的目标是根据一组参考资料检查大语言模型生成回复的事实性。此问题涉及三个主要问题：如何以及在何处找到参考资料？我们将在何种细节级别上检查回复？如何对回复中的主张进行分类？1. 您还可以配置结果的汇总方式，以在三元组级别的检测和回复级别的幻觉报告之间进行转换。这些模块可以单独扩展和改进。我们发现大语言模型通常擅长从输入文本中提取主张三元组。
16710编辑于 2026-02-01思维链推理自动化检测大模型幻觉
自动化幻觉检测与思维链推理当大型语言模型（LLM）被提示诸如"圣约翰草可能与哪些药物发生相互作用？" 通过使用单独的声明分类模型，通过将声明与上下文（与请求相关的检索文本，同样输入分类模型）进行比较，将声明分为五个关键类别（支持、缺失、矛盾、部分支持和不可评估）。 选择在声明级别进行评估是因为单个声明的分类提高了幻觉检测准确性，并且声明的更高原子性允许更精确的测量和幻觉定位。与现有方法不同，该方法直接从完整响应文本中提取声明列表。 这已被证明不仅可以提高LLM性能，还可以提高模型可解释性。 因此，通过探索无参考检测、采用针对特定用例定制的动态少样本提示技术以及整合代理AI框架，继续在负责任AI领域推动创新。
21110编辑于 2025-09-05大语言模型幻觉检测新工具与数据集
新工具与数据集助力大语言模型幻觉检测大语言模型（LLMs）虽能力卓越，却存在“幻觉”问题——生成看似合理但事实错误的断言。某些幻觉极为细微，例如日期误差仅一两年。 为检测此类细微幻觉，某机构推出RefChecker，包含新型幻觉检测框架和基准数据集。 与以往基于句子或短语的检测方法不同，RefChecker采用知识三元组（<主体, 谓词, 客体>结构，类似知识图谱）表征事实，可对LLM输出进行更精细的评估。 检测方法创新参考来源：支持三种任务设置（开放问答、检索增强生成、摘要生成），数据源自NaturalQuestions、MS MARCO等公开集。
43010编辑于 2025-08-06- 来自专栏大模型成长之路
【大模型学习 | BLIP2 跌倒检测项目实战（一）】
BLIP2 跌倒项目实战（一）在学习完BLIP,BLIP2模型原理后，如何应用于工业开发至关重要。 为此，本次项目将从零到一实现基于BLIP2的跌倒检测，实现部署→数据构建→微调→量化→部署的工业化项目。不同库版本间有一定的依赖性，条件允许的话可以直接用编者的这套环境，不用花太大时间在配置环境上。 ；可以根据需求调整预训练模型；目前LAVIS只支持flant5xl 、flant5xxlpretrain_opt2.7b : decoder-only 模型；自定义一个python文件：from lavis.models ，和我们的提问丝毫没有关系，不管我们怎么提问，模型只会把图像完整的阐述出来，这与我们想要的效果差太多。 回答："yes" / "No" 但是目前模型的回答是关于整段话的描述，无论怎么改提示词都没用 为此，构建一份新的数据集微调模型至关重要。
1K11编辑于 2025-07-05 - 来自专栏AI SPPECH
大模型在安全运营与威胁检测中的应用
：利用大模型和检测组件检测和识别威胁 事件响应流程：利用大模型和响应组件对事件进行响应和处理 结果生成流程：生成检测结果、响应结果和可视化内容 反馈流程：收集用户反馈，用于模型的持续优化 知识更新流程： 基于大模型的智能方案： 智能告警管理：利用大模型对海量告警进行智能分析、分类和降噪 威胁检测增强：引入大模型增强传统威胁检测系统的能力，发现新型攻击 自动化事件响应：基于大模型提供的响应建议，自动化执行安全响应操作 基于大模型的智能方案： 异常行为检测：利用大模型建立关键系统的行为基线，实时检测异常行为 攻击模式识别：通过大模型识别复杂的攻击模式和攻击链 漏洞智能分析：利用大模型分析漏洞的严重性和可能的利用方式 应急响应支持 你认为在实施基于大模型的智能安全运营系统时，最大的技术挑战是什么？如何应对？ 你如何看待大模型在安全运营与威胁检测中的应用前景？你认为大模型能完全替代人工进行安全分析吗？ 让我们一起探索大模型在安全运营与威胁检测中的无限可能！
35210编辑于 2025-11-13 - 来自专栏新智元
首个基于Transformer的目标检测模型上线，大目标检测超越Faster R-CNN
研究员声称这种方法简化了目标检测模型的创建，并减少了对手工组件的需求。 相比之下，其他检测模型则是孤立地预测每个物体。 向NLP和计算机视觉任务的统一方法推进 FAIR称，DETR是第一个成功地将Transformer架构，作为检测管道中的核心构件集成的目标检测框架。 他们声称：「新的模型在概念上很简单，不需要专门的库，与许多其他现代检测器不同。」 谷歌AI首席执行官Jeff Dean及其他AI大佬们都认为，基于Transformer的语言模型是2019年的一大趋势，而且会在2020年持续保持这个趋势。 Faster R-CNN主要由微软研究公司创建的目标检测模型，自2015年推出以来，该模型已经获得了近1万次引用。
1.5K30发布于 2020-06-04 - 来自专栏机器之心
黑掉神经网络，腾讯朱雀实验室首亮相：操纵神经元构造AI后门
随着今年人工智能成为「新基建」七大版块中的重要一项，AI 的产业应用也进一步驶入深水区。 腾讯朱雀实验室发现，通过对 AI 模型文件的逆向分析，可绕过数据投毒环节，直接控制神经元，将 AI 模型改造为后门模型。 腾讯朱雀实验室发现，模型文件载入到内存的过程中是一个复杂的各类软件相互依赖作用的结果。理论上，任何依赖的软件存在弱点都可以被攻击者利用。 腾讯朱雀实验室从简单的线性回归模型和 MNIST 开始入手，利用启发算法，分析模型网络哪些层的神经元相对后门特性敏感，最终验证了模型感染的攻击可能性。 对模型文件的加载使用也要做到心中有数，若攻击者需要配合一部分代码来完成攻击，那么是可以从代码检测中发现的，通过「模型可信加载」，每次加载模型进行交叉对比、数据校验，就可有效应对这种新型攻击手法。
1.3K40发布于 2020-08-28 AIGC检测过不去？5套文章降AI率润色方法教给你，效果“立竿见影”！
从今天起，所有的境内AI模型或者应用提供方，在给用户输出内容的时候都要打上“标识”。标识可以分为显式标识和隐式标识两种。显式标识就是用肉眼可以看见的那种。 如果你想检查一篇内容是不是由AI生成的，可以试试腾讯的朱雀检测：传送门：https://matrix.tencent.com/ai-detect/朱雀在12月刚完成升级，检测精度有了很大提升。 目前是业内参考价值最高的AI检测工具之一。但是也要注意，它不是百分之百准确的，还是有可能出现误判的情况。怎么去“AI味”？要使文章看起来更“人写的”，关键是打破AI的完美。 以下方法在实际测试中可以使朱雀检测通过率达到接近100%。替换AI味重的衔接词AI写作太注重逻辑，几乎每一段都按照“起承转合”的标准格式来写。而真实的语言表达则更加跳跃、更口语化。 AI检测模型最怕的就是人类不规律的行为。参考指令：制作一个公众号标点符号转换的在线网页工具，把文章中所有的中文全角标点符号改为英文半角标点多用短句AI写长句、用大词，读起来顺口但是理解起来费劲。
1.5K10编辑于 2026-01-28- 来自专栏AIGC 先锋科技
Power-LLaVA：大语言模型结合视觉技术，提升检测效率 !
受LLaVA[12]的启发，作者利用现有先进的VL模型和检测模型分别为每张图像标注描述性文本和目标检测标签。 3 Method 在本节中，作者将系统地阐述作者电力传输线路检测框架的实现，该框架称为Power-LLaVA。首先，作者全面介绍Power-LLaVA模型的架构描述。 Model Architecture 如图2所示，作者的Power-LLaVA模型包括三个模块：一个预训练的视觉编码器，一个轻量级投影模块，以及一个预训练的大语言模型。 对于从现实世界电力传输线路场景中获取的每张图像，作者利用最先进的视觉-语言（VL）模型和检测模型分别为每张图像标注四个标题和目标检测标签。 这通过收集20,000张描绘现实世界电力传输线路场景的图像，并使用先进的视觉-语言（VL）模型和检测模型对这些原始图像进行简短描述和目标检测标签的标注来实现。
67110编辑于 2024-08-08 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
76201编辑于 2024-12-30 【AI落地应用实战】篡改检测技术前沿探索——从基于检测分割到大模型
二、基于大模型的篡改检测探索 传统基于检测分割的检测技术通过分析图像中的低层次视觉特征，来识别潜在的篡改痕迹，虽然这些方法在识别图像篡改方面具有一定的有效性，但它们通常未能充分利用高级语义信息，并且其检测效果在很大程度上依赖于人工设定的阈值 另一方面，大语言模型在计算机视觉和自然语言处理等多个领域展现出了卓越的能力和强大的泛化性能，其深层特征提取与理解能力显著超越了传统方法。 如果能够基于这些大型模型进行图像篡改检测，充分利用它们对图像中更复杂、更细微的语义信息的捕捉和分析能力，有望为图像篡改检测领域带来革命性的进步。 在全球AI大模型攻防挑战赛中，合合信息同样展现出了强大的实力。 全球AI大模型攻防挑战赛由中国图象图形学学会、蚂蚁集团、云安全联盟（CSA）大中华区联合主办，联合了清华大学、上海交通大学、浙江大学等高校及多家产学研组织共同发起，旨在直面并解决大模型应用中潜藏的风险，
1.1K10编辑于 2024-12-24- 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.5K30编辑于 2023-10-10 文章“AI味”太浓？一个提示词去除AI痕迹，阅读量直接翻倍！
简单地说，就是内容对大模型生成依赖性太强，没有经过深层次的加工，直接暴露出生成模式存在的缺陷。具体表现为：结构像模板一样，论点浮于表面，语言啰嗦空洞，情感虚假……总之，就是一种非人的机器感。 一定要用检测工具扫一遍，看看有没有留下明显的AI痕迹。我一直在用的是腾讯的朱雀AI检测助手链接在这里：https：//matrix.tencent.com/ai-detect/为什么推荐它？ 主要因为它在中文语义理解、语境适应和生成能力这几个核心维度上，模型表现都很出色。不是说其他模型不好，而是朱雀在处理公众号这类特定中文场景时，综合优势更明显，尤其适合我们这些腾讯系的内容创作者。 不过有个小提示：朱雀每天有20次免费检测额度。但这20次不是让你一口气用完的。如果你连续检测，比如用了9次之后，系统可能会提示“稍后重试”。这时候别急，等上半小时左右，就又能继续用了。 工具只是辅助，人才才是关键必须强调几个关键点：所有检测工具都有一定的局限性，不可能达到百分之百的准确。检测报告仅供参考，最后还是要靠自己的眼睛去看、用脑子去读一遍。
2.7K10编辑于 2026-01-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号