- 综合排序
- 最热优先
- 最新优先
【 人工智能AI幻觉】
一、AI幻觉的定义与风险 AI幻觉指人工智能系统生成看似合理但实际错误或虚构的内容，例如编造不存在的论文、人名或事件。这种现象在生成式AI中尤为常见，尤其在缺乏足够训练数据或上下文的情况下。 高风险领域如医疗、法律和新闻，一旦出现AI幻觉可能导致严重后果，例如误诊、法律文件错误或虚假新闻传播。 二、应对策略与案例分析 事实核查机制 部署自动化工具对AI生成内容进行实时验证。 检索增强生成（RAG） RAG通过将外部知识库与生成过程结合，减少幻觉。 "no_repeat_ngram_size": 2, "repetition_penalty": 1.5, "hallucination_threshold": 0.7 # 自定义幻觉检测阈值 四、 行业应用规范 医疗领域建议遵循HIPAA等法规，要求AI系统提供可追溯的参考文献。法律领域需记录生成逻辑链，新闻应用应标注AI参与程度。定期更新知识库和模型，建立错误案例库用于持续改进。
20610编辑于 2026-01-20- 来自专栏明明如月的技术专栏
AI 通俗讲解大语言模型幻觉
大模型幻觉，听起来就像是从未来科技中走出的术语，其实它是人工智能领域中一个非常有趣的现象。 这就有点像所谓的“大模型幻觉”。 更具体地说，当我们提到大模型（如GPT系列），其实是指一种基于大量数据训练出来的人工智能模型，这些模型能够处理语言、图像等多种类型的任务。 但是，就像那个善于编故事的朋友一样，大模型有时也会“幻觉”，即它们可能会生成一些听起来很合理，但实际上完全是虚构的信息。 为什么会产生大模型幻觉？ 数据的局限性：虽然大模型的训练数据非常庞大，但并不全面，可能会缺乏某些领域或主题的信息。 应对大模型幻觉的方法 增加模型的透明度：通过理解模型的工作原理和限制，用户可以更加警惕可能出现的幻觉。 持续改进和训练模型：通过不断地训练和改进，增加模型处理信息的准确性和可靠性。
49100编辑于 2024-05-24 - 来自专栏小吾的AI辅助软件开发
如何一键减少AI幻觉
AI有时候会一本正经地胡说八道。让小吾来给你说说这些"幻觉"是从哪儿来的：（1）数据不够全：AI只能学它见过的东西。要是训练数据有错，它就学错了。而且数据可能带有偏见，或者信息不完整。 虽然普通用户改不了AI的训练数据和回答机制，但我们可以选择靠谱的AI助手，比如在写代码方面特别厉害的Claude。 这个工具能帮你减少AI的胡说八道。它会帮你优化提问方式，让AI既能准确理解你的意思，又能验证回答的准确性。 现在AI工具到处都是，但用户经常遇到两个烦恼：不知道怎么问才能让AI明白，以及AI的回答常常不够准确。市面上还没有专门解决这两个问题的工具。 这个工具适合三类人：想提高提问水平的普通用户、想跟AI聊得更好的专业用户，以及不想被AI忽悠的用户。
56931编辑于 2025-05-29 - 来自专栏算法一只狗
AI幻觉下，如何识别虚假信息
其实目前来看，AI 在很多时候确实存在幻觉现象，尤其是在处理严谨性较强的问题时，例如数学题、编程问题等，经常会给出错误答案，甚至出现胡编乱造的情况。那为什么当前的大模型会出现幻觉呢？ 其根本原因在于，这类模型本质上是生成式 AI，基于概率语言模型进行“合理性预测”，而非事实推理。当缺乏明确上下文或知识库支撑时，它们更倾向于“编造”一个语法通顺、语义合理的答案，但未必是真实的。 目前主流模型如 GPT、Claude、Gemini 等，虽然持续强化其检索增强能力（RAG）与事实校验机制，但幻觉现象依然难以完全杜绝。 这反映出一个共性问题：生成式 AI 仍然基于词语的概率生成机制，在处理这类基础逻辑问题时缺乏精确性。因此，我们要想识别 AI 所生成的幻觉信息，最根本的方法仍然是主动进行多重验证。 借助工具辅助判断： GPT 类模型可帮助分析语义逻辑，但其自身也可能产生幻觉； ImageForensics、Deepware Scanner 可判断图像/视频是否由 AI 生成； Bing、Gemini
73710编辑于 2025-04-02 - 来自专栏老张的求知思考世界
警惕DeepSeek带来的AI信息幻觉
而现在，很多人高估了AI，对AI给出的结果太过于信任，长期来说会让人丧失对信息的敏感和识别能力，进而影响认知和独立思考能力。 这种情况，就是AI大模型在当前阶段面临的重大挑战：信息幻觉。 如何理解信息幻觉呢？ 大模型本质上是一个概率预测机器，即不断预测下一个Token，且每一个已经生成的Token都会影响下一个Token的生成。 而当前缓解(或者说解决)信息幻觉的技术方法只有RAG。 所谓的RAG(Retrieval-Augmented Generation)，即检索增强生成。 将RAG解决信息幻觉的过程拆开，就是理解-检索-生成。 “理解”就是拆解用户提问，充分理解用户需求。 但，即便经过如此缜密和富有逻辑的处理，AI给出的结果依然不具备百分百的置信度。 个体如何面对信息幻觉的挑战，我是这样思考的： 如果你完全相信AI给出的信息，那你很快就会陷入一种信息幻觉。
31010编辑于 2025-02-25 - 来自专栏明明如月的技术专栏
AI 讲解大语言模型幻觉原因
大模型幻觉（AI hallucination）是指AI模型生成与事实不符或虚构的信息。这种现象的原因可以归结为以下几个方面： 训练数据的局限性：大模型依赖于大量的数据进行训练。 通过改进训练数据质量、引入事实验证机制、以及优化模型的生成策略，可以在一定程度上减少大模型幻觉的发生。
80700编辑于 2024-05-25 当AI产生幻觉，会捅多大的娄子？
因此，在很长一段时间里，在 AI 领域“幻觉”是一个带有一定褒义色彩的术语，“有幻觉”意味着你的 AI 具备一定创造性能力。 2024 年，哈工大与华为发布了一篇 长达49 页的关于 AI 幻觉的论文，其中提到，按照生成内容与真实世界的偏离程度，幻觉可以被分为事实性幻觉（Factuality Hallucination）和忠实性幻觉 经常使用 AI 产品的读者应该对此并不陌生，可以说幻觉是这一轮大语言模型的通病。那么，是什么导致了幻觉呢？目前来看，它与大语言模型的训练方式和 AI 感知世界的方法有关。数据是幻觉的根源。 与其他幻觉造成的损失一样，这些书籍的作者当然没有去验证这些 AI 生成书籍的真伪——毕竟如果他们真去了这些地方实地探访，又何必需要由 AI 来撰写呢？ 鉴于短期内，单凭大语言模型这一单一技术可能无法克服其自身所产生的幻觉，类似 Gemini“核查回答”这样的外挂式防护措施，将成为解决 AI 幻觉，提高 AI 系统稳定性的重要方法。
53210编辑于 2025-03-17- 来自专栏云云众生s
停止企业的 AI 幻觉是 Vectara 的关键
停止企业的 AI 幻觉是 Vectara 的关键 翻译自 Stopping AI Hallucinations for Enterprise Is Key for Vectara 。 一位 Cloudera 的创始人现在正在解决企业中生成式 AI 和大型语言模型的问题。第一个挑战：防止AI幻觉。 为了了解 Vectara 是如何向企业客户推销其产品以及如何解决 AI 的幻觉问题，我采访了创始人/首席执行官 Amr Awadallah 。 如何解决幻觉 尽管大型语言模型已经在演绎推理方面证明了其非常成功，但科技界对它“产生幻觉”事实的倾向仍存在很多担忧。 因此，它是关于完善从 AI 系统获得的信息，直到您获得与其提供的业务特定数据密切相符的答案。 即使采用这种方法，大型语言模型仍有可能产生幻觉。因此，Vectara 有一个最后一步。
33710编辑于 2024-03-27 - 来自专栏机器之心
幻觉不一定有害，新框架用AI的「幻觉」优化图像分割技术
在人工智能领域，大型预训练模型（如 GPT 和 LLaVA）的 “幻觉” 现象常被视为一个难以克服的挑战，尤其是在执行精确任务如图像分割时。 这种所谓的 “幻觉”，其实是模型根据大规模数据训练得出的经验性常识。虽然这种推断与当前的例子不符，但它确实反映了现实世界中的常态。 前者推断出较为准确的样本特有提示来引导 SAM 进行分割，后者则将生成的掩码与任务语义进行对齐，对齐后的掩码又可以作为提示反向作用于第一个模块来验证利用幻觉得到的信息。 为此，该研究将输入图像切割成不同尺度的图像块，每个图像块中任务相关对象的不同可见性水平激发了 MLLM 的幻觉。 这能充分利用幻觉来提取图片中与任务相关的信息，验证后生成更准确的提示。这样，更好的提示又能改善掩码的质量，形成一个互相促进的提升过程。
23900编辑于 2025-02-14 AI幻觉的真相：为什么ChatBI会“说谎”？
然而，在这便捷的背后，一个棘手的问题逐渐浮出水面——AI幻觉（AI Hallucination）。当用户满怀期待地问“上季度哪个产品的利润最高？” 本文将深入剖析AI幻觉在ChatBI中的表现、成因，并探讨业界领先的解决方案与规避策略。 一、 AI幻觉的定义与表现在ChatBI场景中，AI幻觉并非指AI产生了意识或恶意欺骗，而是指模型生成了与数据源事实不符、无法被验证或逻辑上不成立的内容。 AI幻觉的深远影响AI幻觉的后果远不止是得到一个错误的数字。它直接侵蚀了用户对BI工具的信任。 结论AI幻觉是当前ChatBI技术发展道路上一个无法回避的挑战，但它并非无解的难题。
37110编辑于 2025-10-27无需LLM评判，用几何方法检测AI幻觉
无需LLM评判：一种检测AI幻觉的几何方法想象一群正在飞行的鸟。没有领队，没有中央指令。每只鸟都与邻近的鸟对齐——调整方向、匹配速度，通过纯粹的局部协调保持队形。 大语言模型（LLM）产生的幻觉，正是这样的“红色鸟”。我们真正要解决的问题LLM能生成流畅、自信的文本，但其中可能包含捏造的信息。 检测此类幻觉的标准方法是让另一个语言模型来检查输出，即“LLM作为评判者”。你马上就能看出问题所在：我们用一个本身就会产生幻觉的系统去检测幻觉。这就像让一个无法分辨颜色的人去给颜料样本分类。 因此，我们在已建立的幻觉数据集上进行了验证：包含专门设计得难以察觉的LLM生成幻觉的HaluEval-QA、包含偏离对话上下文的回复的HaluEval-Dialogue，以及测试人类常误解之事的TruthfulQA 它们不仅在学习“相似性”，还在学习领域特定的映射关系，对这种关系的破坏能可靠地指示幻觉的发生。“红色的鸟”并不知道自己是红色的。产生幻觉的回复并没有标记说“我是捏造的”。
15010编辑于 2026-01-23- 来自专栏编程技术沉思录
AI领域的“新常态”：面对“AI幻觉”，我们该怎么办？
这种现象，有一个比较专业的术语，叫“Ai幻觉”。简单而言，就像汽车会出现故障一样，Ai同样会出现错误或者偏差，导致生成不准确、错误甚至荒诞的结果。 就如前面我经历的案例一样，会给出一个看似正确实则错误的答案，让过度信任Ai的人产生幻觉，将事实上错误的答案当作是正确的。 在生活和工作场景下，这类影响可能算不了什么，顶多写出一手的bug、挨老板一顿臭骂，但是，若日后在自动驾驶、医疗健康方面引入Ai，针对这类场景而言，一旦出现Ai幻觉，可能就会是致命的。 当AI领域常态化，面对“AI幻觉”，我们该怎么办？不妨大胆预测一下，当一项新的技术出现时，必然会带动更多相关联的技术。 我忽然想到，目前互联网行业的风控技术，日后是否可以在Ai领域进化成能识别Ai的幻觉欺诈呢？
1.5K40编辑于 2023-03-30 “幻觉”不是Bug：重新理解AI的创造与胡言
但如果我们把视角拉远一点，就会发现一个残酷又迷人的事实：幻觉不是模型的缺陷，而是它唯一能“创造”的方式。大语言模型从来不是在“回忆事实”，它在做的其实是“统计级别的世界建模”。 这种“幻觉”恰恰是创造力的源泉。区别不在于“对不对”，而在于“有没有用”。 所以未来AI助手的哲学分水岭其实很简单：你要一个“绝对正确但保守的计算器”，还是一个“富有想象但需要把关的共创伙伴”？ 我们不需要消灭幻觉，我们需要学会和它共处。因为幻觉的另一面，叫想象力。而想象力，正是人类从猿猴变成万物之灵的唯一作弊器。现在的问题是：你准备好和一个会胡说八道、但偶尔能说出神来之笔的伙伴一起玩了吗？ 答案会决定，未来的AI到底是我们的工具，还是我们的缪斯。
17210编辑于 2026-01-23零基础学AI大模型之大模型的“幻觉”
大模型 零基础学AI大模型之大模型修复机制：OutputFixingParser解析器 前情摘要： 1、零基础学AI大模型之读懂AI大模型 2、零基础学AI大模型之从0到1调用大模型API 3、 零基础学AI大模型之SpringAI 4、零基础学AI大模型之AI大模型常见概念 5、零基础学AI大模型之大模型私有化部署全指南 6、零基础学AI大模型之AI大模型可视化界面 7、零基础学AI大模型之 解析器 零基础学AI大模型之大模型的“幻觉” 一、先搞懂：什么是大模型的“幻觉输出”？ 这就是典型的幻觉。 二、幻觉输出有4种常见表现，别踩坑！ 大模型的幻觉不是“乱说话”，而是“有逻辑地说错话”，主要分4种情况，咱们结合例子一看就懂： 1. 咱们不用因为幻觉就否定大模型，而是要学会“和幻觉共存”：用RAG、微调等技术减少幻觉，用提示词、多源验证保护自己。
30210编辑于 2025-12-22- 来自专栏AI
AI 的“幻觉”现象：深入解析 Hallucination 的成因与应对之道
别急，今天咱们就来好好唠唠这个话题，从最基础的地方开始，一点点揭开 AI 幻觉的神秘面纱。一、啥是 AI 的 Hallucination？先来说说 Hallucination 这个词儿。 二、啥时候容易出现幻觉？AI 幻觉可不是随随便便就冒出来的，它跟一些特定的情况还挺有缘分。咱们来瞅瞅，哪些时候它最容易“犯病”。1. 三、幻觉为啥会出现？原理是啥？要想搞明白幻觉为啥会出现，咱们得先瞅瞅 AI（尤其是那种用 Transformer 架构的语言模型）到底是咋工作的。1. 说白了，幻觉就是模型在面对不确定性的时候，自己瞎琢磨出来的“创造性猜测”，可不是它故意要误导你。四、咋识别幻觉？识别 AI 的幻觉，还真得有点儿技巧，尤其是当你对那个话题本身就不太熟悉的时候。 六、幻觉的未来：挑战与机遇幻觉这事儿，说到底，既是 AI 的一个短板，也是它创造力的一种体现。在艺术创作或者头脑风暴这种场合，适度的幻觉说不定还能带来一些惊喜。
2.1K10编辑于 2025-03-25 - 来自专栏机器之心
AI海洋中的海妖之歌：腾讯AI Lab大模型幻觉问题综述
近期，腾讯 AI Lab 联合国内外多家学术机构发布了面向大模型幻觉工作的综述，对幻觉的评估、溯源、缓解等进行了全面的探讨。 在上述三类幻觉中，和事实知识冲突的幻觉是目前大模型幻觉研究的核心热点。研究人员认为是因为这一类幻觉研究的难度更大，对用户实际使用体验的干扰也最大。 大模型幻觉和传统幻觉的主要区别在哪里？ 在大模型时代前 (以 ChatGPT 的发布为节点)，幻觉问题在传统的自然语言生成任务中也有一定的研究积累。 生成过程中引入幻觉：一些工作认为，不恰当的生成策略也可能导致大模型出现幻觉。例如，基于采样的解码生成方式中引入的随机性被证明可能导致幻觉，而大模型常用的自回归生成方式也可能导致幻觉的累积传播现象。 有什么方法可以缓解大模型幻觉 为了尽可能减少大模型的幻觉现象，从而促进大模型的落地应用，近期出现了大量新的研究工作尝试缓解幻觉。
1.4K31编辑于 2023-09-19 - 来自专栏大模型机器人
AI语音智能体如何从根本上预防机器幻觉？
随着大模型技术的飞速发展，AI语音智能体正以前所未有的速度融入我们的生活。从智能客服、车载语音助手到个人虚拟伴侣，它们以其自然的交互方式和即时的响应能力，为我们带来了极大的便利。 然而，一个幽灵始终萦绕在这些智能体周围——“机器幻觉”。机器幻觉，指的是AI模型生成的内容看似合理流畅，但实际上与输入信息不符、或凭空捏造了事实、数据或细节。 因此，预防机器幻觉，确保AI语音智能体的可信度与可靠性，已成为其能否真正赋能各行各业的关键。这需要一套贯穿数据、模型、交互与系统的全方位防御体系。 主动管理用户预期：在对话开始时，智能体可以明确说明自身身份和能力，例如：“我是一个AI助手，我的信息来源于公开数据库，对于涉及您个人健康的具体问题，请务必咨询专业医生。” 事实上，让AI语音智能体摆脱“幻觉”，变得可靠而可信，是一项复杂但至关重要的系统工程。
28810编辑于 2025-11-06 AI生成测试用例时的幻觉问题如何解决
AI生成测试用例时的“幻觉”问题（也称为“hallucination”）是指AI模型可能生成不准确、虚构或与实际需求不符的测试用例，例如创建不存在的功能场景、错误的边界条件或无关的测试数据。 —— “AI生成测试用例时的幻觉问题如何解决？” 所谓“幻觉（Hallucination）”，在AI测试用例生成场景中，指的是：AI模型生成看似合理、实则脱离需求、逻辑错误、无法执行或根本不存在于系统中的测试步骤/数据/断言。 这类“幻觉”轻则导致用例无效浪费资源，重则掩盖真实缺陷，造成质量事故。一、为什么AI会“幻觉”？ ）建立反馈学习机制，每月retrain模型幻觉率<5%，人工仅处理边缘案例输出“AI用例健康度报告”供持续优化六、行业实践参考 某头部互联网公司 —— “AI用例生成+三道防火墙”防火墙1：Prompt
83911编辑于 2025-09-17AI模型应用招采领域，数智化招采平台如何破除“AI幻觉”？
当用户向AI提问时，模型可能生成逻辑严密但完全虚构的答案，例如：编造不存在的法律案例、混淆事实、在专业领域提供错误诊断。这种现象称为“AI幻觉”。 AI幻觉多是由于数据源缺陷、训练过程弊端和推理偏差而导致的。那么，在招采领域，如何解决“AI幻觉”呢？ 2、对症下药，破解招采AI幻觉使用高质量的训练数据、确定 AI 模型的用途、使用数据模板、限制响应、不断测试和完善系统、依靠人类监督等方式，可以阻止AI幻觉的发生。 2）破除幻觉2 ：AI模型≠万能可取代人工✔理解误区认为AI模型是万能的，可以完全取代人工，可以AI处理采购需求、供应商入库、评标报告、自动决策等业务。 3）破除幻觉3：AI模型≠全流程自动化✔理解误区现在电子招投标都是全流程电子化的，那么AI模型肯定也是全流程全自动化的，AI模型可应用于任何采购场景。
29800编辑于 2025-06-19- 来自专栏技术人生黄勇
大型语言模型的幻觉研究｜减轻及避免大模型LLM幻觉（二）
“ 本文及上一篇综述了最近关于语言模型中幻觉问题的研究进展，主要集中在ChatGPT发布后的研究。文章讨论了如何评估、追踪和消除幻觉，并探讨了现有挑战和未来方向。 01 — 上一篇《人工智能海洋中的塞壬之歌：大型语言模型LLM中的幻觉研究综述（一）》讲了大模型人工智能的幻觉类别，产生的缘由以及评测标准，这篇继续介绍目前对缓解及避免幻觉所做的研究和努力。 在LLM时代之前，人们通过手动清理训练数据来减少幻觉。Gardent等人和Wang都采用了人工修正的方法，有效地减少了幻觉。 然而，LVLMs存在多模态幻觉问题一样比较严重。 一些研究表明，LVLMs继承了LLMs的幻觉问题，例如物体幻觉。 ｜国内可开源免费商用Baichuan2揭秘 雷军：99%的问题都有标准答案，找个懂的人问一问 什么是AI的“智能涌现”，以及为什么理解它对创业者、从业者、普通人都价值巨大 提示攻击再次攻击大模型，
1.9K10编辑于 2024-07-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号