- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 而且幻觉不是错误，而是 LLM 最大的特点。只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？ 方向三：大模型幻觉的检测基准 方向四：大模型幻觉解决该问题的方法 论文链接：https://arxiv.org/abs/2311.05232
2K11编辑于 2024-01-04 - 来自专栏素质云笔记
大模型幻觉（LLM Hallucination）若干记录
主要参考：大模型的幻觉问题调研: LLM Hallucination Survey 1 幻觉定义 当模型生成的文本不遵循原文（Faithfulness）或者不符合事实（Factualness），我们就可以认为模型出现了幻觉的问题 input content（传统包括：Intrinsic Hallucination（信息冲突） 以及Extrinsic Hallucination（无中生有） ） Factualness：是否符合世界知识 2 基于Factualness Classification Metric：标注/构造一批和幻觉/事实有关的数据，训练检测模型，利用该模型评估新生成文本的幻觉/事实问题。 现有工作将减轻幻觉的指标作为强化学习的reward函数，从而减轻幻觉现象。 多任务学习: 通过设计合适的额外任务，可以达到减轻幻觉的效果。 后处理：设计一个小模型专门用于fix幻觉错误。 有两个重要的组成部分，预训练大模型和领域知识库。
1.3K40编辑于 2023-07-25 - 来自专栏技术人生黄勇
大型语言模型的幻觉研究｜减轻及避免大模型LLM幻觉（二）
01 — 上一篇《人工智能海洋中的塞壬之歌：大型语言模型LLM中的幻觉研究综述（一）》讲了大模型人工智能的幻觉类别，产生的缘由以及评测标准，这篇继续介绍目前对缓解及避免幻觉所做的研究和努力。 如下图所示，几个常见的大模型预训练使用的语料库的数据量 Llama2达到了大约两万亿个token的数据规模。因此，与人工整理相比，目前更实用的方法是自动选择可靠数据或过滤掉噪声数据。 现有的大语言模型LLMs已经考虑了这一方面，如InstructGPT、ChatGPT、GPT4（Ope-nAI，2023年b）和Llama2-Chat，在RLHF过程中都考虑到了这一方面。 ｜国内可开源免费商用Baichuan2揭秘 雷军：99%的问题都有标准答案，找个懂的人问一问 什么是AI的“智能涌现”，以及为什么理解它对创业者、从业者、普通人都价值巨大 提示攻击再次攻击大模型， 被催眠后的ChatGPT可能会泄露重要信息-大模型的隐藏风险 8.23 中国大模型「顶流群聊」笔记 中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用 OpenAI放开ChatGPT
2.4K10编辑于 2024-07-19 - 来自专栏明明如月的技术专栏
AI 讲解大语言模型幻觉原因
大模型幻觉（AI hallucination）是指AI模型生成与事实不符或虚构的信息。这种现象的原因可以归结为以下几个方面： 训练数据的局限性：大模型依赖于大量的数据进行训练。 如果训练数据中包含不准确或虚假的信息，模型可能会在生成内容时反映这些错误。 语言生成机制的特性：生成模型如GPT系列通过预测下一个词来生成句子。 缺乏事实验证：大模型并没有内置的事实验证机制，它们无法像人类一样即时查证某些信息的真实性。 开放域生成的挑战：在开放域对话中，模型需要在没有明确限定主题的情况下生成回答。 模型的设计：生成模型的设计并未专注于事实准确性，而是专注于语言的流畅性和连贯性。因此，模型有时会优先生成看似连贯的回答，而不是基于事实的回答。 通过改进训练数据质量、引入事实验证机制、以及优化模型的生成策略，可以在一定程度上减少大模型幻觉的发生。
98700编辑于 2024-05-25 - 来自专栏CSDNToQQCode
大语言模型LLM中的幻觉
同时，LLM也面临着一些挑战，如模型的可解释性、安全性和隐私问题等。 幻觉 由ChatGPT带来的大模型时代，国内外各大厂家都在陆续推出自己的大模型，然而目前大模型都存在一个普遍的现象就是：幻觉。 事实幻觉 事实不一致，当问AI：如何解决大模型的幻觉问题，话题是：幻觉可以说早就已经是LLM老生常谈的问题了，那为什么会产生这个现象该如何解决这个问题呢？ 附： 解决大模型对话中的幻觉问题，可以考虑以下几个方面： 数据增强：通过在输入数据中添加噪声或随机性，增加模型的泛化能力，减少幻觉问题。 通过微调，可以减少大模型对特定领域的泛化能力不足的问题，从而减少幻觉的产生。 引入注意力机制：注意力机制能够使模型更加关注重要的信息，减少对无关信息的关注，从而减少幻觉的产生。 验证和测试：在应用大模型进行对话生成之前，需要对其进行充分的验证和测试，以确保其在实际应用中能够满足用户需求，避免幻觉问题的出现。
56710编辑于 2024-01-02 - 来自专栏明明如月的技术专栏
AI 通俗讲解大语言模型幻觉
大模型幻觉，听起来就像是从未来科技中走出的术语，其实它是人工智能领域中一个非常有趣的现象。 这就有点像所谓的“大模型幻觉”。 更具体地说，当我们提到大模型（如GPT系列），其实是指一种基于大量数据训练出来的人工智能模型，这些模型能够处理语言、图像等多种类型的任务。 但是，就像那个善于编故事的朋友一样，大模型有时也会“幻觉”，即它们可能会生成一些听起来很合理，但实际上完全是虚构的信息。 这种现象通常发生在模型对某个问题的答案不确定时，它会根据自己的“经验”（也就是训练数据）来“猜测”一个答案。 为什么会产生大模型幻觉？ 应对大模型幻觉的方法 增加模型的透明度：通过理解模型的工作原理和限制，用户可以更加警惕可能出现的幻觉。 持续改进和训练模型：通过不断地训练和改进，增加模型处理信息的准确性和可靠性。
57000编辑于 2024-05-24 - 来自专栏我爱计算机视觉
幻觉降低30%！首个多模态大模型幻觉修正工作Woodpecker
论文地址: https://arxiv.org/pdf/2310.16045.pdf 项目地址: https://github.com/BradyFU/Woodpecker 介绍 视觉幻觉是常见于多模态大语言模型 我们可以Prompt大语言模型来提取出这些关键概念，这些关键概念是后续步骤进行的基础； 问题构造： 围绕着前一步提取出的关键概念，Prompt大语言模型来提出一些有助于检验图片描述真伪的问题，如“图中有几辆自行车 这里我们认为像GroundingDINO这类视觉基础模型对图片的感知能力比MLLM本身的感知能力更强。对于目标颜色等这类属性问题，我们可以利用BLIP-2来进行回答。 BLIP-2这类传统VQA模型输出答案的长度有限，幻觉问题也更少； 视觉断言生成： 基于前两步中获得的问题以及对应的视觉信息，合成结构化的“视觉断言”。 这些视觉断言可以看做与原有MLLM的回答以及输入图片相关的视觉知识库； 幻觉修正： 基于前面得到的，使用大语言模型对MLLM的文本输出进行逐一修正，并提供目标对应的检测框信息作为视觉检验的参照。
99440编辑于 2023-11-01 - 来自专栏机器学习养成记
大模型 “幻觉” 之谜：本质、成因与防御
然而，这些模型常常会“一本正经地胡说八道”——生成看似合理实则错误甚至荒谬的内容，这种现象被称为模型幻觉。幻觉问题严重制约了大模型在医疗、金融、法律等高风险领域的落地应用。 1 幻觉的本质：事实性与忠实性的双重失配 学术界将大模型幻觉划分为两大经典类别 [2]： 事实性幻觉（Factuality Hallucination）：生成内容与客观事实不符。 2 幻觉的成因 幻觉并非单一问题导致，而是数据、训练、推理、模型架构全链路因素共同作用的结果。 5 结论与展望 大模型幻觉是概率生成本质、训练数据缺陷、模型架构限制共同造成的必然现象。 未来随着模型可解释性技术、事实性奖励模型不断成熟，有望在训练阶段从根源降低幻觉倾向。理解幻觉背后的数学与原理，是搭建可靠大模型应用的基础。
27610编辑于 2026-06-11 - 来自专栏从0开始学Go
老婆问我：“什么是大模型的“幻觉”？”
最近，老婆刷到一条新闻：“大模型竟编造不存在的历史事件！”她一脸懵地问我：AI 也会像人一样出现幻觉？难道它偷喝了假酒吗？我….. ：大模型幻觉不是喝醉，而是一种“脑补失控”——当它遇到知识盲区时，不会老实说“不知道”，反而像小说家般即兴创作。 幻觉的本质 我们可以把大模型幻觉理解成AI版的“皇帝的新衣”——它用华丽的语言编织根本不存在的逻辑。核心不是欺骗，而是过度拟合了“必须回答”的指令。 幻觉发作：你：“手指被纸划伤需要打破伤风吗？”AI：“建议立即注射破伤风疫苗，因为纸张可能携带破伤风梭菌。据统计，全球每年有2万人因纸划伤死亡。” 幻觉的秘诀大模型产生幻觉时，会动用三大伪装技巧：1. 细节轰炸：用具体数字和术语增加可信度。
44020编辑于 2025-03-31 - 来自专栏deepseek
从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？
最近，大模型的“幻觉”问题引发了热议，尤其是DeepSeek-R1，它的幻觉率似乎比自己的基座大模型DeepSeek-V3高不少。今天我们请到了资深AI研究员立委博士，来跟大家聊聊这个话题。 主持人： 老李，咱们先来个灵魂拷问：为啥大模型会“产生幻觉”？能不能用大白话给大家解释一下？立委： 这可算是大模型的经典问题。 主持人： 人对于逻辑看起来清晰自洽、且详细的内容，就会倾向于相信，所以大模型幻觉潜在的危害真地很大。那咱们普通人，面对大模型的幻觉，该咋办呢？ 大模型的幻觉属于此类。大模型的知识学习过程（训练阶段），是一种信息压缩过程；大模型回答问题，就是一个信息解码过程（推理阶段）。好比升维了又降维。 具体说，R1训练pipeline是四个过程，微调1，强化1，微调2，强化2。强化2主要是与人类偏好对齐的强化。这个过程在创造力与忠实方面，目前看来倾斜于前者，后去可以再做平衡。
63010编辑于 2025-02-10 零基础学AI大模型之大模型的“幻觉”
零基础学AI大模型之大模型修复机制：OutputFixingParser解析器 前情摘要： 1、零基础学AI大模型之读懂AI大模型 2、零基础学AI大模型之从0到1调用大模型API 3、零基础学 解析器 零基础学AI大模型之大模型的“幻觉” 一、先搞懂：什么是大模型的“幻觉输出”？ 这就是大模型的「幻觉输出」（Hallucination）。 2. 生成机制：只看“概率”，不看“事实” 大模型生成文本的逻辑是“预测下一个词最可能是什么”，而不是“验证这个内容是不是真的”。 咱们不用因为幻觉就否定大模型，而是要学会“和幻觉共存”：用RAG、微调等技术减少幻觉，用提示词、多源验证保护自己。
69310编辑于 2025-12-22- 来自专栏NowlNowl_AI
如何解决大语言模型的幻觉问题
如何解决大模型的「幻觉」问题？ 什么是大模型「幻觉」 在人类生活中，幻觉表示虚假的但是我们分辨不清楚的事物，在大语言模型中，[幻觉]即代表模型生成的虚假的文本，这中情况很容易导致一些错误的发生 造成大模型「幻觉」的原因 语言模型的训练数据 这可能导致模型在生成文本时做出不准确或草率的推断，产生幻觉。 模型的先验知识： 模型在训练时通过观察大量文本数据学到了丰富的先验知识。 这些先验知识可能并非总是准确或适用于所有情境，因此在某些情况下可能导致模型产生幻觉。 对抗性攻击： 恶意用户可以通过巧妙设计的输入来欺骗模型，导致其生成虚假或误导性的输出，从而引发幻觉。 领域适应性： 模型可能在某些领域表现良好，但在其他领域可能不够准确。当模型被用于不适合的任务或领域时，可能会产生幻觉。
1.1K10编辑于 2024-01-18 - 来自专栏周末程序猿
机器学习|大模型为什么会出现幻觉？
外在幻觉（Extrinsic Hallucinations）：生成了与源信息无关的内容，大部分情况是没有原始事实，会导致大模型开始 “胡说八道”。 为什么会出现 "幻觉"？ 以上是大模型幻觉率的排行榜，可以看到 "幻觉" 并不是模型越大，"幻觉" 就越低，而是和本身的模型评分标准相关。 尽管知道错误的奖励机制会导致 "幻觉" 的出现，但衡量准确度的评分机制仍在排行榜和模型资料卡上占据主导地位，促使开发人员建立倾向猜测而非选择不作答的模型，这样就进一步加剧模型更加自信的提供错误答案。 发现 LLM 学习带有新知识的样本，要比学习与模型预先存在的知识样本，学得更慢，一旦学习了这些带有新知识的样本，模型产生幻觉的倾向就会增加。 如何减少 "幻觉"？ 参考 （1）https://zhuanlan.zhihu.com/p/721611756 （2）https://openai.com/zh-Hant-HK/index/why-language-models-hallucinate
48110编辑于 2025-11-13 - 来自专栏bisal的个人杂货铺
大模型幻觉通俗一些的理解
大模型中有很多的名词，有所了解就可以让我们更好地应用大模型，例如"幻觉"这个词，听起来很玄乎，像是AI出现了精神错乱，其实没多么复杂，我通过几个生活中的例子，帮你一秒搞懂。 历史文章， 《Token通俗一些的理解》 《小白都可以看懂的小龙虾安装教程》 通俗版定义 大模型的幻觉，就是它“一本正经地胡说八道”。 它不是故意骗你，而是因为它不知道“我不知道”。 模型开始幻觉："出自《三体2：黑暗森林》第15章，罗辑在面壁计划听证会上说的。"（实际上这本书根本没有章节编号，这句话也不是在那个场合说的，但模型说得跟真的一样） 为什么会产生幻觉？ 想象一下，大模型本质上是一个超级接龙高手。它被训练的方式是：看了海量的互联网文字后，学会了"给定前面的文字，下一个字最可能是什么"。 很多创意工作者特意利用模型的幻觉，来获得意想不到的灵感。 怎么对付幻觉？ 1. 将它当参谋，不当权威 重要事实要核实，别信它的一面之词。 2.
31610编辑于 2026-04-02 - 来自专栏深度学习自然语言处理
每日论文速递 | InterrogateLLM: 大模型幻觉检测框架
深度学习自然语言处理 分享 整理：pp 摘要：尽管大语言模型（LLMs）取得了许多进步，并以前所未有的速度迅速发展，但由于种种原因，它们对我们日常生活方方面面的影响和整合仍然有限。 通过对包括 Llama-2 在内的多个数据集和 LLM 的广泛评估，我们研究了近期各种 LLM 的幻觉水平，并证明了我们的方法在自动检测幻觉方面的有效性。 值得注意的是，在一个特定实验中，我们观察到 Llama-2 的幻觉率高达 62%，我们的方法达到了 87% 的平衡准确率 (B-ACC)，而这一切都无需依赖外部知识。 幻觉率评估：评估了GPT-3和Llama-2在不同数据集上生成答案的幻觉率。这有助于了解不同模型在特定任务上的可靠性。 特别是，它在Llama-2模型上观察到了高达62%的幻觉率，并在特定实验中达到了87%的平衡准确率（BACC）。
1.6K10编辑于 2024-03-25 - 来自专栏自然语言处理(NLP)论文速递
大模型幻觉！人大 & IAAR & 新华社 | 提出幻觉评测基准UHGEval，全面支持中文！
引言 大模型幻觉问题是指模型生成的文本内容不基于任何事实数据，直白一点就是胡说八道。 现有的评测基准往往在标注数据时「仅限于句子级别的幻觉，而在关键词级别的标注粒度较少」。然而，从不同粒度上对大语言模型的分辨能力进行评测不仅更具挑战性，而且可以为解决幻觉问题提供新的启示。 实验结果 3.1 实验模型 研究一共使用了11个大模型。 其中，3个来自GPT系列的模型，GPT3.5-Turbo，GPT4-0613和GPT4-1106；以及8个中文大语言模型，ChatGLM2-6B，Xinyu-7B，Xinyu2-70B，InternLM 推荐阅读 [1]2023年10月 爆款论文总结，共计12篇 [2]微软提出代码生成模型，参数仅有75M! [2]当大模型遇到新知识，还能给出正确答案吗？
2.1K10编辑于 2023-12-04 - 来自专栏数据派THU
CVPR 2024 | 多模态大模型幻觉原因找到了！
试想一下，如果将有严重幻觉问题的多模态大模型部署在自动驾驶上，在高速公路上前方无车的情况下，由于模型出现前方有车的幻觉而下令急刹车，将会导致严重的交通追尾事故。 同时，是否存在一种方法，可以在不需要额外知识和训练的情况下轻松解决多模态大模型的幻觉问题呢？ 2、分析 为此，中科大等单位的研究人员从可视化模型在推理时的 Self-Attention 权重出发，希望寻找得到一些有趣的结论。 研究者们将这一现象描述为 “partial over-trust”，并发现大模型的这种阶段性总结可能是导致幻觉问题的一大“元凶”！ 作为一种通过改进解码策略来减轻多模态大模型幻觉的方法，OPERA 具有易于在不同模型和架构上部署的特点，同时也激发了更多研究者从机制层面研究和解决多模态大模型的幻觉问题。
1.5K10编辑于 2024-04-16 - 来自专栏新智元
大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」
编辑：Henry 【新智元导读】Alembic首次推出用于企业数据分析和决策支持的无「幻觉」人工智能。 原来大模型的「幻觉」，真的可以完全消除！ 也就是说，饱受诟病的LLM幻觉，被彻底攻破了。 他接着表示，我们基本上让生成式AI免于产生幻觉。它可以确定性输出，也可以谈论因果关系。 解决幻觉问题 「幻觉」一直是企业采用聊天机器人和虚拟助理等人工智能系统的主要障碍。 此前的AI模型即使可以生成看似逼真的文本，还是经常会产生错误或无意义的信息，也就是所谓的「幻觉」，导致在关键业务应用中的部署存在风险。 随着人工智能竞争的白热化，Alembic的「无幻觉」方法可能会成为一个关键卖点，也可能成为研究突破与实际影响之间差距的警示故事。
38110编辑于 2024-06-17 大语言模型幻觉检测新工具与数据集
新工具与数据集助力大语言模型幻觉检测大语言模型（LLMs）虽能力卓越，却存在“幻觉”问题——生成看似合理但事实错误的断言。某些幻觉极为细微，例如日期误差仅一两年。 为检测此类细微幻觉，某机构推出RefChecker，包含新型幻觉检测框架和基准数据集。 技术流程RefChecker包含两个可配置模块： 声明三元组提取器（E）：当前版本使用GPT-4和Claude 2，后续将开源Mixtral-8x7B提取器； 幻觉检查器（C）：支持GPT-4、Claude 2和RoBERTa-NLI自动检查，未来将增加AlignScore等开源方案。 使用方式该研究认为，精准识别细粒度幻觉是制定缓解策略的第一步。反馈可通过GitHub提交，欢迎贡献改进。 致谢：Lin Qiu, Zheng Zhang
53110编辑于 2025-08-06思维链推理自动化检测大模型幻觉
自动化幻觉检测与思维链推理当大型语言模型（LLM）被提示诸如"圣约翰草可能与哪些药物发生相互作用？" 通过使用单独的声明分类模型，通过将声明与上下文（与请求相关的检索文本，同样输入分类模型）进行比较，将声明分为五个关键类别（支持、缺失、矛盾、部分支持和不可评估）。 最后，通过测量不支持声明（即被分配为非支持类别的声明）的比例并计算细粒度错误类型的分布来生成聚合幻觉分数。这种分布为LLM构建者提供了有关其模型所犯错误性质的有价值见解，促进针对性改进。 结果清楚地显示了少样本CoT提示带来的性能改进（从0.78提高到0.8，提高了2个百分点），使我们更接近大规模自动识别LLM幻觉。 如果较少轮次减少了这种错误类型，限制轮次数量或使用先前轮次的摘要可以缓解幻觉。虽然HalluMeasure可以为科学家提供模型幻觉来源的见解，但生成式AI仍然存在不断演变的风险。
28310编辑于 2025-09-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号