- 综合排序
- 最热优先
- 最新优先
【 人工智能AI幻觉】
一、AI幻觉的定义与风险 AI幻觉指人工智能系统生成看似合理但实际错误或虚构的内容，例如编造不存在的论文、人名或事件。这种现象在生成式AI中尤为常见，尤其在缺乏足够训练数据或上下文的情况下。 高风险领域如医疗、法律和新闻，一旦出现AI幻觉可能导致严重后果，例如误诊、法律文件错误或虚假新闻传播。 二、应对策略与案例分析 事实核查机制 部署自动化工具对AI生成内容进行实时验证。 检索增强生成（RAG） RAG通过将外部知识库与生成过程结合，减少幻觉。 "no_repeat_ngram_size": 2, "repetition_penalty": 1.5, "hallucination_threshold": 0.7 # 自定义幻觉检测阈值 四、 行业应用规范 医疗领域建议遵循HIPAA等法规，要求AI系统提供可追溯的参考文献。法律领域需记录生成逻辑链，新闻应用应标注AI参与程度。定期更新知识库和模型，建立错误案例库用于持续改进。
44510编辑于 2026-01-20- 来自专栏算法一只狗
AI幻觉下，如何识别虚假信息
其实目前来看，AI 在很多时候确实存在幻觉现象，尤其是在处理严谨性较强的问题时，例如数学题、编程问题等，经常会给出错误答案，甚至出现胡编乱造的情况。那为什么当前的大模型会出现幻觉呢？ 其根本原因在于，这类模型本质上是生成式 AI，基于概率语言模型进行“合理性预测”，而非事实推理。当缺乏明确上下文或知识库支撑时，它们更倾向于“编造”一个语法通顺、语义合理的答案，但未必是真实的。 目前主流模型如 GPT、Claude、Gemini 等，虽然持续强化其检索增强能力（RAG）与事实校验机制，但幻觉现象依然难以完全杜绝。 这反映出一个共性问题：生成式 AI 仍然基于词语的概率生成机制，在处理这类基础逻辑问题时缺乏精确性。因此，我们要想识别 AI 所生成的幻觉信息，最根本的方法仍然是主动进行多重验证。 借助工具辅助判断： GPT 类模型可帮助分析语义逻辑，但其自身也可能产生幻觉； ImageForensics、Deepware Scanner 可判断图像/视频是否由 AI 生成； Bing、Gemini
96510编辑于 2025-04-02 - 来自专栏小吾的AI辅助软件开发
如何一键减少AI幻觉
AI有时候会一本正经地胡说八道。让小吾来给你说说这些"幻觉"是从哪儿来的：（1）数据不够全：AI只能学它见过的东西。要是训练数据有错，它就学错了。而且数据可能带有偏见，或者信息不完整。 虽然普通用户改不了AI的训练数据和回答机制，但我们可以选择靠谱的AI助手，比如在写代码方面特别厉害的Claude。 这个工具能帮你减少AI的胡说八道。它会帮你优化提问方式，让AI既能准确理解你的意思，又能验证回答的准确性。 现在AI工具到处都是，但用户经常遇到两个烦恼：不知道怎么问才能让AI明白，以及AI的回答常常不够准确。市面上还没有专门解决这两个问题的工具。 这个工具适合三类人：想提高提问水平的普通用户、想跟AI聊得更好的专业用户，以及不想被AI忽悠的用户。
73031编辑于 2025-05-29 - 来自专栏明明如月的技术专栏
AI 讲解大语言模型幻觉原因
大模型幻觉（AI hallucination）是指AI模型生成与事实不符或虚构的信息。这种现象的原因可以归结为以下几个方面： 训练数据的局限性：大模型依赖于大量的数据进行训练。 通过改进训练数据质量、引入事实验证机制、以及优化模型的生成策略，可以在一定程度上减少大模型幻觉的发生。
97200编辑于 2024-05-25 - 来自专栏明明如月的技术专栏
AI 通俗讲解大语言模型幻觉
大模型幻觉，听起来就像是从未来科技中走出的术语，其实它是人工智能领域中一个非常有趣的现象。 这就有点像所谓的“大模型幻觉”。 更具体地说，当我们提到大模型（如GPT系列），其实是指一种基于大量数据训练出来的人工智能模型，这些模型能够处理语言、图像等多种类型的任务。 但是，就像那个善于编故事的朋友一样，大模型有时也会“幻觉”，即它们可能会生成一些听起来很合理，但实际上完全是虚构的信息。 为什么会产生大模型幻觉？ 数据的局限性：虽然大模型的训练数据非常庞大，但并不全面，可能会缺乏某些领域或主题的信息。 应对大模型幻觉的方法 增加模型的透明度：通过理解模型的工作原理和限制，用户可以更加警惕可能出现的幻觉。 持续改进和训练模型：通过不断地训练和改进，增加模型处理信息的准确性和可靠性。
56400编辑于 2024-05-24 - 来自专栏老张的求知思考世界
警惕DeepSeek带来的AI信息幻觉
而现在，很多人高估了AI，对AI给出的结果太过于信任，长期来说会让人丧失对信息的敏感和识别能力，进而影响认知和独立思考能力。 这种情况，就是AI大模型在当前阶段面临的重大挑战：信息幻觉。 如何理解信息幻觉呢？ 大模型本质上是一个概率预测机器，即不断预测下一个Token，且每一个已经生成的Token都会影响下一个Token的生成。 而当前缓解(或者说解决)信息幻觉的技术方法只有RAG。 所谓的RAG(Retrieval-Augmented Generation)，即检索增强生成。 将RAG解决信息幻觉的过程拆开，就是理解-检索-生成。 “理解”就是拆解用户提问，充分理解用户需求。 但，即便经过如此缜密和富有逻辑的处理，AI给出的结果依然不具备百分百的置信度。 个体如何面对信息幻觉的挑战，我是这样思考的： 如果你完全相信AI给出的信息，那你很快就会陷入一种信息幻觉。
37710编辑于 2025-02-25 - 来自专栏刷题笔记
2-9 彩虹瓶 (20 分)
本文链接：https://blog.csdn.net/shiliang97/article/details/101155502 2-9 彩虹瓶 (20 分) ?
1K30发布于 2019-11-08 当AI产生幻觉，会捅多大的娄子？
因此，在很长一段时间里，在 AI 领域“幻觉”是一个带有一定褒义色彩的术语，“有幻觉”意味着你的 AI 具备一定创造性能力。 2024 年，哈工大与华为发布了一篇 长达49 页的关于 AI 幻觉的论文，其中提到，按照生成内容与真实世界的偏离程度，幻觉可以被分为事实性幻觉（Factuality Hallucination）和忠实性幻觉 经常使用 AI 产品的读者应该对此并不陌生，可以说幻觉是这一轮大语言模型的通病。那么，是什么导致了幻觉呢？目前来看，它与大语言模型的训练方式和 AI 感知世界的方法有关。数据是幻觉的根源。 与其他幻觉造成的损失一样，这些书籍的作者当然没有去验证这些 AI 生成书籍的真伪——毕竟如果他们真去了这些地方实地探访，又何必需要由 AI 来撰写呢？ 鉴于短期内，单凭大语言模型这一单一技术可能无法克服其自身所产生的幻觉，类似 Gemini“核查回答”这样的外挂式防护措施，将成为解决 AI 幻觉，提高 AI 系统稳定性的重要方法。
81710编辑于 2025-03-17探索知识图谱解决AI幻觉问题
探索知识图谱解决AI幻觉问题[!NOTE]最近在了解知识图谱解决AI幻觉问题，以下是开篇，跟大家分享一下。 zhangsan@tencent.com-项目文档：负责人：张三-报销系统：申请人：张三，部门：微信事业群传统系统：四个"张三"，互不认识知识图谱：一个"张三"实体，关联手机、邮箱、职务、部门、项目痛点3：AI
20800编辑于 2026-04-23- 来自专栏机器之心
幻觉不一定有害，新框架用AI的「幻觉」优化图像分割技术
在人工智能领域，大型预训练模型（如 GPT 和 LLaVA）的 “幻觉” 现象常被视为一个难以克服的挑战，尤其是在执行精确任务如图像分割时。 这种所谓的 “幻觉”，其实是模型根据大规模数据训练得出的经验性常识。虽然这种推断与当前的例子不符，但它确实反映了现实世界中的常态。 前者推断出较为准确的样本特有提示来引导 SAM 进行分割，后者则将生成的掩码与任务语义进行对齐，对齐后的掩码又可以作为提示反向作用于第一个模块来验证利用幻觉得到的信息。 为此，该研究将输入图像切割成不同尺度的图像块，每个图像块中任务相关对象的不同可见性水平激发了 MLLM 的幻觉。 这能充分利用幻觉来提取图片中与任务相关的信息，验证后生成更准确的提示。这样，更好的提示又能改善掩码的质量，形成一个互相促进的提升过程。
29600编辑于 2025-02-14 AI幻觉的真相：为什么ChatBI会“说谎”？
然而，在这便捷的背后，一个棘手的问题逐渐浮出水面——AI幻觉（AI Hallucination）。当用户满怀期待地问“上季度哪个产品的利润最高？” 本文将深入剖析AI幻觉在ChatBI中的表现、成因，并探讨业界领先的解决方案与规避策略。 一、 AI幻觉的定义与表现在ChatBI场景中，AI幻觉并非指AI产生了意识或恶意欺骗，而是指模型生成了与数据源事实不符、无法被验证或逻辑上不成立的内容。 AI幻觉的深远影响AI幻觉的后果远不止是得到一个错误的数字。它直接侵蚀了用户对BI工具的信任。 结论AI幻觉是当前ChatBI技术发展道路上一个无法回避的挑战，但它并非无解的难题。
55410编辑于 2025-10-27- 来自专栏小巫技术博客
第03期·AI幻觉与可信度
DAILY AI KNOWLEDGE AI 幻觉与可信度 每天搞懂一个 AI 知识点 · 第 03 期 2026.3.30 什么是 AI 幻觉？ 你有没有遇到过这种情况：问 AI 一个问题，它给了一个听起来非常自信、非常专业的答案，但仔细一查，完全是胡说？ 这就是 AI 幻觉（Hallucination）。 真实案例 有律师让 ChatGPT 帮忙找案例引用，AI 生成了几十条"判例"，引用格式规范、案号完整、描述详尽——结果全是编造的，这位律师差点因此被吊销执照。 为什么 AI 会"幻觉"？ 提供参考资料，而非让 AI 凭空生成 ❌ 容易幻觉 "帮我写一篇关于XX的技术文档" ✅ 更可靠 "基于以下资料，帮我整理成文档：[粘贴原始资料]" 和你工作的关联 Bug 分析 AI 给的根因分析要验证 ，AI 给的方向要人工二次确认 技术调研 AI 提供的技术方案框架可信，但具体 API 调用、版本号务必查官方文档 一句话总结 AI 幻觉 = 模型在不知道答案时，仍然生成"听起来合理"的内容 识别高低风险场景
24710编辑于 2026-03-30 AI编程：是软件开发效率的幻觉吗？
本文将从三个层面深入剖析这一现象： 我们将揭开『感觉很快』背后的效率幻觉 探讨『上下文为王』的全新编程法则 提出构建『人机协同质量飞轮』的未来路径 1 效率幻觉 为何感觉很快不等于真的很快 AI 编程工具最诱人之处 接下来，她陷入了一个恶性循环：不断向 AI 描述更详细的上下文，AI 不断生成新的、但依然存在缺陷的方案。 最终，她不得不放弃 AI，回归传统的手动调试，花费的时间远超预期。 2 上下文为王 从提示工程师到 AI 的领航员 METR 的研究明确指出，AI 在大型复杂代码库中表现不佳的核心原因，是『缺乏隐式上下文』。这恰恰指明了实现真正 AI 编程提效的关键。 我们必须首先戳破『感觉很快』的效率幻觉，认识到 AI 的局限性。 其次，要将自身角色从『代码工人』升级为能够驾驭复杂上下文的『AI 领航员』，这才是开发者在 AI 时代不可替代的核心价值。 真正的未来，不属于那些盲目崇拜 AI 或固执拒绝 AI 的人，而属于那些懂得如何与 AI 共舞，将机器的计算力与人类的智慧和判断力完美结合的『智能架构师』。
14810编辑于 2026-06-17- 来自专栏云云众生s
停止企业的 AI 幻觉是 Vectara 的关键
停止企业的 AI 幻觉是 Vectara 的关键 翻译自 Stopping AI Hallucinations for Enterprise Is Key for Vectara 。 一位 Cloudera 的创始人现在正在解决企业中生成式 AI 和大型语言模型的问题。第一个挑战：防止AI幻觉。 为了了解 Vectara 是如何向企业客户推销其产品以及如何解决 AI 的幻觉问题，我采访了创始人/首席执行官 Amr Awadallah 。 如何解决幻觉 尽管大型语言模型已经在演绎推理方面证明了其非常成功，但科技界对它“产生幻觉”事实的倾向仍存在很多担忧。 因此，它是关于完善从 AI 系统获得的信息，直到您获得与其提供的业务特定数据密切相符的答案。 即使采用这种方法，大型语言模型仍有可能产生幻觉。因此，Vectara 有一个最后一步。
42210编辑于 2024-03-27 - 来自专栏编程技术沉思录
AI领域的“新常态”：面对“AI幻觉”，我们该怎么办？
这种现象，有一个比较专业的术语，叫“Ai幻觉”。简单而言，就像汽车会出现故障一样，Ai同样会出现错误或者偏差，导致生成不准确、错误甚至荒诞的结果。 就如前面我经历的案例一样，会给出一个看似正确实则错误的答案，让过度信任Ai的人产生幻觉，将事实上错误的答案当作是正确的。 在生活和工作场景下，这类影响可能算不了什么，顶多写出一手的bug、挨老板一顿臭骂，但是，若日后在自动驾驶、医疗健康方面引入Ai，针对这类场景而言，一旦出现Ai幻觉，可能就会是致命的。 当AI领域常态化，面对“AI幻觉”，我们该怎么办？不妨大胆预测一下，当一项新的技术出现时，必然会带动更多相关联的技术。 我忽然想到，目前互联网行业的风控技术，日后是否可以在Ai领域进化成能识别Ai的幻觉欺诈呢？
1.5K40编辑于 2023-03-30 - 来自专栏Linux云计算网络
算法导论2-9章补充几道题
本篇博文意在对前几章中遗漏的，本人觉得有意思的习题当独拿出来练练手。 1、习题2-4，求逆序对，时间复杂度要求Θ(nlgn) 定义：对于一个有n个不同的数组A, 当i<j时，存在A[i]>A[j]，则称对偶(i, j)为A的一个逆序对。 譬如：<2,3,8,6,1>有5个逆序对。 解题思路：归并排序的思想：逆序对的数量=左区间的逆序对+右区间的逆序对+合并的逆序对 代码如下： 1 #include <iostream> 2 #include <vector> 3 using namespace std
82650发布于 2018-01-11 “幻觉”不是Bug：重新理解AI的创造与胡言
但如果我们把视角拉远一点，就会发现一个残酷又迷人的事实：幻觉不是模型的缺陷，而是它唯一能“创造”的方式。大语言模型从来不是在“回忆事实”，它在做的其实是“统计级别的世界建模”。 这种“幻觉”恰恰是创造力的源泉。区别不在于“对不对”，而在于“有没有用”。 所以未来AI助手的哲学分水岭其实很简单：你要一个“绝对正确但保守的计算器”，还是一个“富有想象但需要把关的共创伙伴”？ 我们不需要消灭幻觉，我们需要学会和它共处。因为幻觉的另一面，叫想象力。而想象力，正是人类从猿猴变成万物之灵的唯一作弊器。现在的问题是：你准备好和一个会胡说八道、但偶尔能说出神来之笔的伙伴一起玩了吗？ 答案会决定，未来的AI到底是我们的工具，还是我们的缪斯。
30810编辑于 2026-01-23无需LLM评判，用几何方法检测AI幻觉
无需LLM评判：一种检测AI幻觉的几何方法想象一群正在飞行的鸟。没有领队，没有中央指令。每只鸟都与邻近的鸟对齐——调整方向、匹配速度，通过纯粹的局部协调保持队形。 大语言模型（LLM）产生的幻觉，正是这样的“红色鸟”。我们真正要解决的问题LLM能生成流畅、自信的文本，但其中可能包含捏造的信息。 检测此类幻觉的标准方法是让另一个语言模型来检查输出，即“LLM作为评判者”。你马上就能看出问题所在：我们用一个本身就会产生幻觉的系统去检测幻觉。这就像让一个无法分辨颜色的人去给颜料样本分类。 因此，我们在已建立的幻觉数据集上进行了验证：包含专门设计得难以察觉的LLM生成幻觉的HaluEval-QA、包含偏离对话上下文的回复的HaluEval-Dialogue，以及测试人类常误解之事的TruthfulQA 它们不仅在学习“相似性”，还在学习领域特定的映射关系，对这种关系的破坏能可靠地指示幻觉的发生。“红色的鸟”并不知道自己是红色的。产生幻觉的回复并没有标记说“我是捏造的”。
25210编辑于 2026-01-23- 来自专栏大模型应用
大模型应用：医疗AI智能体幻觉防控：幻觉抑制的四层防护体系应用实践.128
一、医疗AI幻觉1. 医疗场景幻觉危害 医疗是关乎生命的特殊领域，AI 输出的每一句话都可能直接影响患者健康、医师诊断、临床决策，因此行业对幻觉的要求是绝对零容忍。 误导基层医师：基层医疗工作者依赖 AI 辅助决策，幻觉内容会导致临床误诊漏诊三级危害：行业信任崩塌医疗AI的核心价值是“辅助医疗、提升效率”，一旦出现幻觉，会彻底摧毁患者、医师、医疗机构对 AI 的信任 医疗AI幻觉率核心指标：幻觉率幻觉率 = （包含幻觉内容的回复总数 ÷ 总交互次数）× 100%普通场景 acceptable 幻觉率：5%-10%金融、法律场景 要求幻觉率：＜1%医疗场景 强制标准： 存入医疗白名单库，AI 直接调用，不经过大模型生成4. 从根源杜绝高频场景幻觉这是医疗场景安全优先于效率的终极保障，针对高风险、高频率问题实现零幻觉输出。
22921编辑于 2026-06-05 - 来自专栏AI大模型进阶笔记
跨语言AI知识库问答：RAG 防幻觉实践
、防幻觉：让 RAG 敢说"我这儿没有" 跨语言讲完，来到这一篇的另一个主菜——怎么让一个文档问答系统少瞎编。 4.2 来源溯源：把"AI 说的"还原成"文档里写的" 每个回答都带回它依据的文档标题 + 链接，用户一点就能跳到原文核对。 对文档问答，可溯源不是加分项，是底线——它把"AI 说的"还原成"文档里写的，AI 只是帮你找到并归纳"。 实现上有个容易被忽视、但用户能直接感知的细节：来源要做去重和友好展示。 项目已开源：https://github.com/lukyFun/search-ai 。有相同场景的同行，欢迎参考、提 Issue、拍砖。 再次说明：本项目为个人开源实践，文中 Demo 基于公开文档构建，非任何厂商官方产品，回答由 AI 生成、仅供参考。
5600编辑于 2026-06-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号