- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT从业者张某某
大模型与大模型的幻觉问题
参考 大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷 大模型「幻觉」，看这一篇就够了｜哈工大华为出品 大模型 什么是大模型 大语言模型（LLM）是基于海量文本数据训练的深度学习模型 如何解决大模型的「幻觉」问题？ 方向一：什么是大模型「幻觉」 大模型出现幻觉，简而言之就是“胡说八道”。 用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉 在 Karpathy 看来： 从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。 而且幻觉不是错误，而是 LLM 最大的特点。只有大模型助手存在幻觉问题。 方向二：造成大模型「幻觉」的原因 那么致使大模型产生幻觉的原因都有哪些？ 方向三：大模型幻觉的检测基准 方向四：大模型幻觉解决该问题的方法 论文链接：https://arxiv.org/abs/2311.05232
2K11编辑于 2024-01-04 - 来自专栏素质云笔记
大模型幻觉（LLM Hallucination）若干记录
主要参考：大模型的幻觉问题调研: LLM Hallucination Survey 1 幻觉定义 当模型生成的文本不遵循原文（Faithfulness）或者不符合事实（Factualness），我们就可以认为模型出现了幻觉的问题 基于Factualness Classification Metric：标注/构造一批和幻觉/事实有关的数据，训练检测模型，利用该模型评估新生成文本的幻觉/事实问题。 人工评估：目前为止最靠谱的，此外还可以依靠LLM打分（比如利用GPT4，但是GPT4也存在着严重的幻觉问题，即使经过retrival-augment，检索回来的信息也有可能是错误的） 3 如何解决 构建高质量数据集 现有工作将减轻幻觉的指标作为强化学习的reward函数，从而减轻幻觉现象。 多任务学习: 通过设计合适的额外任务，可以达到减轻幻觉的效果。 后处理：设计一个小模型专门用于fix幻觉错误。 有两个重要的组成部分，预训练大模型和领域知识库。
1.3K40编辑于 2023-07-25 - 来自专栏技术人生黄勇
大型语言模型的幻觉研究｜减轻及避免大模型LLM幻觉（二）
01 — 上一篇《人工智能海洋中的塞壬之歌：大型语言模型LLM中的幻觉研究综述（一）》讲了大模型人工智能的幻觉类别，产生的缘由以及评测标准，这篇继续介绍目前对缓解及避免幻觉所做的研究和努力。 现有的大语言模型LLMs已经考虑了这一方面，如InstructGPT、ChatGPT、GPT4（Ope-nAI，2023年b）和Llama2-Chat，在RLHF过程中都考虑到了这一方面。 例如，GPT4使用合成幻觉数据来训练奖励模型并执行RL（强化学习），从而将Truth-fulQA（幻觉基准测试）的准确率从约30%提高到60%。 在强化学习中，大模型LLM会与环境进行交互，以学习一种策略，该策略帮助大模型在特定任务中获得最大的累积奖励。大模型在学习过程中不断尝试不同的行动，并根据环境的反馈来调整它的策略。 提问时，先将问题向量化，然后通过向量计算，将和问题相近的知识片段提取出来，然后将知识和问题都传给大模型，最后由大模型输出回答。）
2.4K10编辑于 2024-07-19 - 来自专栏明明如月的技术专栏
AI 讲解大语言模型幻觉原因
大模型幻觉（AI hallucination）是指AI模型生成与事实不符或虚构的信息。这种现象的原因可以归结为以下几个方面： 训练数据的局限性：大模型依赖于大量的数据进行训练。 如果训练数据中包含不准确或虚假的信息，模型可能会在生成内容时反映这些错误。 语言生成机制的特性：生成模型如GPT系列通过预测下一个词来生成句子。 缺乏事实验证：大模型并没有内置的事实验证机制，它们无法像人类一样即时查证某些信息的真实性。 开放域生成的挑战：在开放域对话中，模型需要在没有明确限定主题的情况下生成回答。 模型的设计：生成模型的设计并未专注于事实准确性，而是专注于语言的流畅性和连贯性。因此，模型有时会优先生成看似连贯的回答，而不是基于事实的回答。 通过改进训练数据质量、引入事实验证机制、以及优化模型的生成策略，可以在一定程度上减少大模型幻觉的发生。
98700编辑于 2024-05-25 - 来自专栏CSDNToQQCode
大语言模型LLM中的幻觉
同时，LLM也面临着一些挑战，如模型的可解释性、安全性和隐私问题等。 幻觉 由ChatGPT带来的大模型时代，国内外各大厂家都在陆续推出自己的大模型，然而目前大模型都存在一个普遍的现象就是：幻觉。 事实幻觉 事实不一致，当问AI：如何解决大模型的幻觉问题，话题是：幻觉可以说早就已经是LLM老生常谈的问题了，那为什么会产生这个现象该如何解决这个问题呢？ 附： 解决大模型对话中的幻觉问题，可以考虑以下几个方面： 数据增强：通过在输入数据中添加噪声或随机性，增加模型的泛化能力，减少幻觉问题。 通过微调，可以减少大模型对特定领域的泛化能力不足的问题，从而减少幻觉的产生。 引入注意力机制：注意力机制能够使模型更加关注重要的信息，减少对无关信息的关注，从而减少幻觉的产生。 验证和测试：在应用大模型进行对话生成之前，需要对其进行充分的验证和测试，以确保其在实际应用中能够满足用户需求，避免幻觉问题的出现。
56710编辑于 2024-01-02 - 来自专栏明明如月的技术专栏
AI 通俗讲解大语言模型幻觉
大模型幻觉，听起来就像是从未来科技中走出的术语，其实它是人工智能领域中一个非常有趣的现象。 这就有点像所谓的“大模型幻觉”。 更具体地说，当我们提到大模型（如GPT系列），其实是指一种基于大量数据训练出来的人工智能模型，这些模型能够处理语言、图像等多种类型的任务。 但是，就像那个善于编故事的朋友一样，大模型有时也会“幻觉”，即它们可能会生成一些听起来很合理，但实际上完全是虚构的信息。 这种现象通常发生在模型对某个问题的答案不确定时，它会根据自己的“经验”（也就是训练数据）来“猜测”一个答案。 为什么会产生大模型幻觉？ 应对大模型幻觉的方法 增加模型的透明度：通过理解模型的工作原理和限制，用户可以更加警惕可能出现的幻觉。 持续改进和训练模型：通过不断地训练和改进，增加模型处理信息的准确性和可靠性。
57000编辑于 2024-05-24 - 来自专栏我爱计算机视觉
幻觉降低30%！首个多模态大模型幻觉修正工作Woodpecker
论文地址: https://arxiv.org/pdf/2310.16045.pdf 项目地址: https://github.com/BradyFU/Woodpecker 介绍 视觉幻觉是常见于多模态大语言模型 我们可以Prompt大语言模型来提取出这些关键概念，这些关键概念是后续步骤进行的基础； 问题构造： 围绕着前一步提取出的关键概念，Prompt大语言模型来提出一些有助于检验图片描述真伪的问题，如“图中有几辆自行车 这些视觉断言可以看做与原有MLLM的回答以及输入图片相关的视觉知识库； 幻觉修正： 基于前面得到的，使用大语言模型对MLLM的文本输出进行逐一修正，并提供目标对应的检测框信息作为视觉检验的参照。 LLaVA的颜色得分从78.33分大幅提升到155分！经过Woodpecker修正后，四个基线模型在四个测试子集上的总分均超过500分，在总体感知能力上获得了显著提升。 不同于以往将图片转译后送入纯文本GPT-4的做法，文章利用OpenAI最近开放的视觉接口，提出使用GPT-4(Vision)对修正前后的图片描述直接对下列两个维度进行打分： 准确度：模型的答复相对于图片内容是否准确
99440编辑于 2023-11-01 - 来自专栏从0开始学Go
老婆问我：“什么是大模型的“幻觉”？”
最近，老婆刷到一条新闻：“大模型竟编造不存在的历史事件！”她一脸懵地问我：AI 也会像人一样出现幻觉？难道它偷喝了假酒吗？我….. ：大模型幻觉不是喝醉，而是一种“脑补失控”——当它遇到知识盲区时，不会老实说“不知道”，反而像小说家般即兴创作。 幻觉的本质 我们可以把大模型幻觉理解成AI版的“皇帝的新衣”——它用华丽的语言编织根本不存在的逻辑。核心不是欺骗，而是过度拟合了“必须回答”的指令。 幻觉的秘诀大模型产生幻觉时，会动用三大伪装技巧：1. 细节轰炸：用具体数字和术语增加可信度。 幻觉的核心价值幻觉虽然危险，却意外暴露出大模型的深层能力：用想象力填补现实空白。这种能力若被合理引导，可能带来惊喜：作家用可控幻觉生成奇幻小说设定：“如果恐龙没有灭绝，它们会建立怎样的文明？”
44020编辑于 2025-03-31 - 来自专栏机器学习养成记
大模型 “幻觉” 之谜：本质、成因与防御
然而，这些模型常常会“一本正经地胡说八道”——生成看似合理实则错误甚至荒谬的内容，这种现象被称为模型幻觉。幻觉问题严重制约了大模型在医疗、金融、法律等高风险领域的落地应用。 1 幻觉的本质：事实性与忠实性的双重失配 学术界将大模型幻觉划分为两大经典类别 [2]： 事实性幻觉（Factuality Hallucination）：生成内容与客观事实不符。 1.1 事实性幻觉的数学形式 真实世界的事实分布为P*(y∣x)，大模型学习到的分布为Pθ(y∣x)，。 5 结论与展望 大模型幻觉是概率生成本质、训练数据缺陷、模型架构限制共同造成的必然现象。 未来随着模型可解释性技术、事实性奖励模型不断成熟，有望在训练阶段从根源降低幻觉倾向。理解幻觉背后的数学与原理，是搭建可靠大模型应用的基础。
27610编辑于 2026-06-11 - 来自专栏deepseek
从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？
最近，大模型的“幻觉”问题引发了热议，尤其是DeepSeek-R1，它的幻觉率似乎比自己的基座大模型DeepSeek-V3高不少。今天我们请到了资深AI研究员立委博士，来跟大家聊聊这个话题。 主持人： 老李，咱们先来个灵魂拷问：为啥大模型会“产生幻觉”？能不能用大白话给大家解释一下？立委： 这可算是大模型的经典问题。 主持人： 人对于逻辑看起来清晰自洽、且详细的内容，就会倾向于相信，所以大模型幻觉潜在的危害真地很大。那咱们普通人，面对大模型的幻觉，该咋办呢？ 大模型的幻觉属于此类。大模型的知识学习过程（训练阶段），是一种信息压缩过程；大模型回答问题，就是一个信息解码过程（推理阶段）。好比升维了又降维。 大模型也是如此，大模型是天生的艺术家，不是死记硬背的数据库。“张冠李戴”、“指鹿为马”等在大模型的幻觉里非常自然，因为张和李是相似的，马和鹿也在同一条延长线上。
63010编辑于 2025-02-10 - 来自专栏机器之心
大模型幻觉率排行：GPT-4 3%最低，谷歌Palm竟然高达27.2%
OpenAI 新出的 GPT 视觉 API 前脚让人感叹效果极好，后脚又因幻觉问题令人不禁吐槽。 幻觉一直是大模型的致命缺陷。 过多重复的信息还会使大模型形成偏见，这也是幻觉的一种。但是幻觉并非无解命题。开发过程中对数据集慎重使用、严格过滤，构建高质量数据集，以及优化模型结构、训练方式都能在一定程度上缓解幻觉问题。 此外，要建立一个能够在没有参考源的情况下确定回答是否是幻觉的模型，就需要解决幻觉问题，而且需要训练一个与被评估的 LLM 一样大或更大的模型。 在 RAG 系统中，模型被部署为搜索结果的汇总器，因此该排行榜也是衡量模型在 RAG 系统中使用时准确性的良好指标。 由于 GPT-4 一贯的优秀表现，它的幻觉率最低似乎是意料之中的。 但是有网友表示，GPT-3.5 与 GPT-4 并没有非常大的差距是令他较为惊讶的。 LLaMA 2 紧追 GPT-4 与 GPT-3.5 之后，有着较好的表现。但谷歌大模型的表现实在不尽人意。
54930编辑于 2023-11-15 零基础学AI大模型之大模型的“幻觉”
AI大模型之SpringAI 4、零基础学AI大模型之AI大模型常见概念 5、零基础学AI大模型之大模型私有化部署全指南 6、零基础学AI大模型之AI大模型可视化界面 7、零基础学AI大模型之LangChain 解析器 零基础学AI大模型之大模型的“幻觉” 一、先搞懂：什么是大模型的“幻觉输出”？ ，模型可能告诉你“是鲁迅写的”——这句话语法没问题，甚至“鲁迅是作家”的前提也对，但核心事实完全错了。这就是典型的幻觉。 二、幻觉输出有4种常见表现，别踩坑！ 大模型的幻觉不是“乱说话”，而是“有逻辑地说错话”，主要分4种情况，咱们结合例子一看就懂： 1. 虚构事实：无中生有 模型会编出不存在的人、书、事件，而且细节还挺“丰满”。 例：算“2+3×4”时，模型可能写“先算2+3=5，再算5×4=20”（违背四则运算优先级），或者步骤对了但最后算成“2+3×4=14”（实际是14？
69310编辑于 2025-12-22- 来自专栏NowlNowl_AI
如何解决大语言模型的幻觉问题
如何解决大模型的「幻觉」问题？ 什么是大模型「幻觉」 在人类生活中，幻觉表示虚假的但是我们分辨不清楚的事物，在大语言模型中，[幻觉]即代表模型生成的虚假的文本，这中情况很容易导致一些错误的发生 造成大模型「幻觉」的原因 语言模型的训练数据 这可能导致模型在生成文本时做出不准确或草率的推断，产生幻觉。 模型的先验知识： 模型在训练时通过观察大量文本数据学到了丰富的先验知识。 这些先验知识可能并非总是准确或适用于所有情境，因此在某些情况下可能导致模型产生幻觉。 对抗性攻击： 恶意用户可以通过巧妙设计的输入来欺骗模型，导致其生成虚假或误导性的输出，从而引发幻觉。 领域适应性： 模型可能在某些领域表现良好，但在其他领域可能不够准确。当模型被用于不适合的任务或领域时，可能会产生幻觉。
1.1K10编辑于 2024-01-18 - 来自专栏周末程序猿
机器学习|大模型为什么会出现幻觉？
幻觉是语言模型生成了似是而非的答案，即使很简单的问题，但是模型可能给出一些不符合事实的答案，比如： 问题：请用一句话回复，其中第三个词是 “dog” 回答：I have a dog. 外在幻觉（Extrinsic Hallucinations）：生成了与源信息无关的内容，大部分情况是没有原始事实，会导致大模型开始 “胡说八道”。 为什么会出现 "幻觉"？ 以上是大模型幻觉率的排行榜，可以看到 "幻觉" 并不是模型越大，"幻觉" 就越低，而是和本身的模型评分标准相关。 尽管知道错误的奖励机制会导致 "幻觉" 的出现，但衡量准确度的评分机制仍在排行榜和模型资料卡上占据主导地位，促使开发人员建立倾向猜测而非选择不作答的模型，这样就进一步加剧模型更加自信的提供错误答案。 发现 LLM 学习带有新知识的样本，要比学习与模型预先存在的知识样本，学得更慢，一旦学习了这些带有新知识的样本，模型产生幻觉的倾向就会增加。 如何减少 "幻觉"？
48110编辑于 2025-11-13 - 来自专栏bisal的个人杂货铺
大模型幻觉通俗一些的理解
大模型中有很多的名词，有所了解就可以让我们更好地应用大模型，例如"幻觉"这个词，听起来很玄乎，像是AI出现了精神错乱，其实没多么复杂，我通过几个生活中的例子，帮你一秒搞懂。 历史文章， 《Token通俗一些的理解》 《小白都可以看懂的小龙虾安装教程》 通俗版定义 大模型的幻觉，就是它“一本正经地胡说八道”。 它不是故意骗你，而是因为它不知道“我不知道”。 模型开始幻觉："出自《三体2：黑暗森林》第15章，罗辑在面壁计划听证会上说的。"（实际上这本书根本没有章节编号，这句话也不是在那个场合说的，但模型说得跟真的一样） 为什么会产生幻觉？ 想象一下，大模型本质上是一个超级接龙高手。它被训练的方式是：看了海量的互联网文字后，学会了"给定前面的文字，下一个字最可能是什么"。 4. 用它的幻觉帮你创作 如果想写小说，可以故意问："假设秦始皇穿越到现代，开了一家奶茶店，会发生什么？"这时候幻觉就是最好的创意引擎。 因此，幻觉 = 模型"自信满满的瞎编"。
31610编辑于 2026-04-02 - 来自专栏深度学习自然语言处理
每日论文速递 | InterrogateLLM: 大模型幻觉检测框架
深度学习自然语言处理 分享 整理：pp 摘要：尽管大语言模型（LLMs）取得了许多进步，并以前所未有的速度迅速发展，但由于种种原因，它们对我们日常生活方方面面的影响和整合仍然有限。 通过这种方法，InterrogateLLM能够在不依赖外部知识的情况下，系统地评估和检测LLMs生成文本中的幻觉，从而提高了模型输出的可靠性。 Q4: 论文做了哪些实验？ 改进模型架构：研究不同的模型架构对幻觉检测性能的影响，例如使用Transformer模型的不同变体或结合多种模型的优势。 用户交互式验证：开发用户交互式的方法，允许用户参与验证过程，以进一步提高幻觉检测的准确性。 幻觉原因分析：深入研究导致幻觉的根本原因，例如模型训练数据的偏差、模型架构的局限性或特定类型的查询。 长期影响评估：研究长期使用InterrogateLLM对模型性能的影响，包括幻觉检测的长期效果和模型对幻觉的适应性。
1.6K10编辑于 2024-03-25 - 来自专栏自然语言处理(NLP)论文速递
大模型幻觉！人大 & IAAR & 新华社 | 提出幻觉评测基准UHGEval，全面支持中文！
引言 大模型幻觉问题是指模型生成的文本内容不基于任何事实数据，直白一点就是胡说八道。 该方案使用了超过上万条候选续写文本，并通过GPT-4模型进行关键词粒度的标注，这些关键词的标注涉及幻觉的存在与否，以及存在幻觉的原因。 随后，由人工对GPT-4标注的准确性进行判断，并仅保留那些被人工认定为GPT-4标注准确且包含幻觉关键词的续写文本。 实验结果 3.1 实验模型 研究一共使用了11个大模型。 其中，3个来自GPT系列的模型，GPT3.5-Turbo，GPT4-0613和GPT4-1106；以及8个中文大语言模型，ChatGLM2-6B，Xinyu-7B，Xinyu2-70B，InternLM
2.1K10编辑于 2023-12-04 - 来自专栏数据派THU
CVPR 2024 | 多模态大模型幻觉原因找到了！
试想一下，如果将有严重幻觉问题的多模态大模型部署在自动驾驶上，在高速公路上前方无车的情况下，由于模型出现前方有车的幻觉而下令急刹车，将会导致严重的交通追尾事故。 同时，是否存在一种方法，可以在不需要额外知识和训练的情况下轻松解决多模态大模型的幻觉问题呢？ 研究者们将这一现象描述为 “partial over-trust”，并发现大模型的这种阶段性总结可能是导致幻觉问题的一大“元凶”！ 4、实验 研究者们在 InstructBLIP，MiniGPT-4，LLaVA-1.5 以及 Shikra 等多种多模态大模型的 7B 模型上进行了测试，在不同维度上进行了统计验证。 作为一种通过改进解码策略来减轻多模态大模型幻觉的方法，OPERA 具有易于在不同模型和架构上部署的特点，同时也激发了更多研究者从机制层面研究和解决多模态大模型的幻觉问题。
1.5K10编辑于 2024-04-16 - 来自专栏新智元
大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」
编辑：Henry 【新智元导读】Alembic首次推出用于企业数据分析和决策支持的无「幻觉」人工智能。 原来大模型的「幻觉」，真的可以完全消除！ 也就是说，饱受诟病的LLM幻觉，被彻底攻破了。 他接着表示，我们基本上让生成式AI免于产生幻觉。它可以确定性输出，也可以谈论因果关系。 解决幻觉问题 「幻觉」一直是企业采用聊天机器人和虚拟助理等人工智能系统的主要障碍。 此前的AI模型即使可以生成看似逼真的文本，还是经常会产生错误或无意义的信息，也就是所谓的「幻觉」，导致在关键业务应用中的部署存在风险。 随着人工智能竞争的白热化，Alembic的「无幻觉」方法可能会成为一个关键卖点，也可能成为研究突破与实际影响之间差距的警示故事。
38110编辑于 2024-06-17 思维链推理自动化检测大模型幻觉
自动化幻觉检测与思维链推理当大型语言模型（LLM）被提示诸如"圣约翰草可能与哪些药物发生相互作用？" 通过使用单独的声明分类模型，通过将声明与上下文（与请求相关的检索文本，同样输入分类模型）进行比较，将声明分为五个关键类别（支持、缺失、矛盾、部分支持和不可评估）。 最后，通过测量不支持声明（即被分配为非支持类别的声明）的比例并计算细粒度错误类型的分布来生成聚合幻觉分数。这种分布为LLM构建者提供了有关其模型所犯错误性质的有价值见解，促进针对性改进。 这已被证明不仅可以提高LLM性能，还可以提高模型可解释性。 如果较少轮次减少了这种错误类型，限制轮次数量或使用先前轮次的摘要可以缓解幻觉。虽然HalluMeasure可以为科学家提供模型幻觉来源的见解，但生成式AI仍然存在不断演变的风险。
28310编辑于 2025-09-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号