- 综合排序
- 最热优先
- 最新优先
- 来自专栏xiaosen
检索增强生成（RAG）
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了检索机制和生成模型的先进技术，旨在提高自然语言处理系统的准确性和上下文相关性。 本文将详细介绍如何从零开始构建一个RAG系统，包括数据处理、检索、生成以及部署等各个环节。 检索管道：根据用户的查询从已索引的数据库中检索最相关的信息，使用检索策略和重排序方法来优化结果。 生成管道：将检索到的数据与用户的查询结合，生成准确、相关且连贯的响应。 构建RAG系统的步骤 1. 文本分块：将长文本分割成较小的块，以便于后续的嵌入和检索。 2. 向量嵌入生成 向量嵌入是RAG系统的基础，它将文本数据转换为数值表示，使得计算机能够理解其语义。 检索过程 在用户提交查询后，RAG系统会执行以下步骤： 查询预处理：对用户输入进行清洗和标准化，例如去除停用词、词形还原等，以提高检索效果。
1.4K10编辑于 2025-01-03 RAG检索增强生成
模型：（可能编造一个看起来合理但错误的答案）1.2RAG如何解决这些问题？RAG=Retrieval-AugmentedGeneration=检索增强生成核心思想：先搜索，再回答。 ┘│││相关文档││▼││┌─────────────┐│││增强│将检索到的文档+用户问题│││(Augment)│组合成完整的Prompt││└──────┬──────┘│││││▼││┌──── ───┼───────┘▼合并去重排序│▼生成最终回答（3）Self-RAG（自反思RAG）让模型自我判断是否需要检索、检索结果是否有用：展开代码语言：TXTAI代码解释┌─────────────── ──否──→重新生成│││是││▼││输出回答│└────────────────────────────────────────────────────┘四、GraphRAG（知识图谱增强RAG）4.1 传统RAG检索到：文档1："李明在技术部工作，向张伟汇报"文档2："张伟已婚，妻子是王丽"传统RAG可能找不到完整信息链，因为这两个文档的关联性不高。
30911编辑于 2026-05-02- 来自专栏机器学习
介绍 RAG（检索增强生成）
RAG 的基本原理RAG 模型的工作流程可以分为以下几个步骤：检索：从一个大型知识库或文档集合中检索与输入查询相关的文档或段落。 RAG 的应用场景RAG 模型在多个领域有广泛的应用，包括但不限于：开放域问答：在回答开放性问题时，RAG 可以从大量文档中检索相关信息，生成更准确和详尽的回答。 信息检索增强：在需要综合多个信息源的任务中，RAG 可以提供更全面的回答或内容。RAG 的优势上下文丰富：通过检索相关信息，RAG 可以生成更符合上下文的回答或内容。 print(response)总结RAG（检索增强生成）通过将检索和生成相结合，能够在需要丰富背景信息的任务中表现出色。 它不仅在开放域问答和对话系统中具有很大的应用潜力，还可以用于文档摘要和信息检索增强等任务。通过适当的数据准备、检索模型训练、生成模型训练和模型融合，可以构建出一个强大的 RAG 系统。
2.5K00编辑于 2024-07-29 - 来自专栏AIGC
【AIGC】检索增强技术深度剖析（RAG）
在这种情况下，检索增强生成 （RAG） 开辟了新的视角。RAG 允许将 AI 模型与公司的特定内部数据集成，不仅可以进行处理，还可以对这些知识进行智能解释和利用。在本文中，我们将探讨如何实现这一点。 一、检索增强定义RAG 是一种技术，它允许通过从大型文档数据库中实时检索信息来扩展预训练语言模型的知识。 二、深度使用检索增强想更深入地了解这个简单的例子吗？ 这是它的样子：在这种情况下，检索增强生成 （RAG） 就派上用场了。我们可以通过向提示添加上下文信息来简单地扩展机器学习模型的知识。从理论上讲，它如下所示：从理论上讲，它会起作用。 小节本节我们学习了检索增强，我们知道了什么是检索增强，我们为什么需要检索增强以及检索增强构建思路，后面章节我们会专门整理出来检索增强服务的构建过程，大家敬请期待吧。
1.1K10编辑于 2024-05-11 - 来自专栏大数据杂货铺
使用检索增强生成 （RAG） 增强 SQL 代理
在本文中，我们将探讨如何通过合并高级分析功能来增强 SQL 代理的功能。想象一下，代理不仅能够提供基本的统计数字，例如客户支付的平均金额，而且还能够提供更高级和更有趣的见解。 检索增强生成 （RAG） 为了便于您的代理了解如何使用这些功能，我建议采用一种称为检索增强生成 （RAG） 的技术。 此方法有助于根据查询查找相关说明。 让我们构建 RAG 要创建 RAG 系统，首先要准备文档。将这些文档转换为向量并将它们保存在向量数据库中，我们将其称为向量数据库。 此外，我们还讨论了创建一个 RAG 来检索相关的语法指令信息。现在，让我们探讨如何无缝集成这两个组件。 RAG 作为工具 在这篇博客中，我详细介绍了 如何利用SQL 代理与数据库交互等工具。 代理结果 结论 通过将 SQL 代理与 RAG 相结合，我们将 LLM 模型的强大功能提升到一个新的水平。此方法允许创建另一个 RAG，使您的代理能够根据结构化数据和文本数据回答问题。
1.2K10编辑于 2024-04-02 - 来自专栏人工智能
LLM的检索增强--SELF-RAG
通常人们会使用RAG来解决大模型的幻觉问题，检索增强生成（RAG）是一种通过检索相关知识来增强 LLMs 输入的方法，可以减少这类问题。 然而，无论检索是否必要或检索到的段落是否相关，RAG 方法都会不加选择地检索和整合固定数量的检索段落，这可能会降低 LLMs 的多功能性或导致生成无用的响应。 框架，旨在通过自我反思和检索增强来提高语言模型的生成质量和事实准确性。 SELF-RAG框架包括以下几个关键步骤：按需检索（On-demand Retrieval）：SELF-RAG训练一个语言模型（LM），使其能够根据任务输入自适应地决定是否需要检索额外的信息。 **增强多功能性**：SELF-RAG不会损害语言模型的多功能性，它能够根据任务需求灵活地调整检索和生成策略。
62010编辑于 2024-11-25 - 来自专栏人工智能
检索增强生成（RAG）技术详解
检索增强生成（Retrieval-Augmented Generation，RAG）通过将外部知识检索与生成相结合，有效解决了这些问题。 RAG技术概述 什么是RAG RAG是一种结合信息检索和文本生成的AI架构，工作流程如下： 用户查询 → 检索相关文档 → 生成增强回答 → 返回结果 ↓ # RAG检索增强生成实践代码 import torch import numpy as np from typing import List, Dict, Optional, Tuple import 检索增强生成系统演示") print("="*70) # 示例文档 sample_documents = [ """ 人工智能（AI）是计算机科学的一个分支 RAG | 一次检索直接生成 | 简单快速 | 上下文可能不足 | 简单问答 | | Recursive RAG | 迭代检索细化 | 提高检索质量 | 计算开销大 | 复杂查询 |
1.5K10编辑于 2026-01-21 【RAG】检索增强生成的评估·综述
相关工作的文章和代码汇总在：Awesome RAG Evaluation 摘要 RAG（Retrieval-Augmented Generation，检索增强生成）由于其复杂的结构性和对检索知识库的依赖 引言 RAG通过整合检索到的信息提升了生成大语言模型（Large Language Model，LLM）的能力，并缓解了大语言模型面临“幻觉”和输出事实错误的回答，从而提升了内容的可靠性和丰富性。 其中RAG主要由检索和生成两阶段组成。检索涉及两个部分，建立文档索引和执行文档检索，通常还会结合精拍/重排来进一步微调检索到的文档排序。 Auepora (A Unified Evaluation Process of RAG) 为了应对这些挑战，系统性的比较RAG系统的检索和生成质量，本文提出A Unified Evaluation Process ，后者确保检索到的文档在文档候选集中的排名合理。
2.1K51编辑于 2024-07-19- 来自专栏muller的测试分享
人工智能|RAG 检索增强生成
而 RAG（Retrieval-Augmented Generation），通过将检索模型和生成模型（LLM）结合在一起，即可提高了生成内容的相关性和质量。 RAG 的优点外部知识的利用。 信息检索（Information Retrieval）：RAG 可以改进信息检索系统，使其更准确深刻。用户可以提出更具体的查询，不再局限于关键词匹配。 知识图谱填充（Knowledge Graph Population）：RAG 可以用于填充知识图谱中的实体关系，通过检索文档来识别和添加新的知识点。 RAG 检索增强的原理从上图可能很多同学非常好奇，大模型是如何与“外挂”数据库进行交互的。不是说大模型不能联网吗？其实大模型和数据库的交互，也是通过提示词完成的。 相关资料RAG 官方文档说明总结理解什么是 RAG 检索增强。理解 RAG 检索增强应用场景。了解 RAG 检索增强有哪些相关的使用方法。
70410编辑于 2024-07-24 SpringAI 全栈开发 + RAG 检索增强实战
1.2 RAG检索增强生成底层逻辑 RAG（Retrieval Augmented Generation，检索增强生成）是解决大模型幻觉、知识滞后、私有数据安全接入三大核心痛点的最优方案，其核心逻辑是在大模型生成回答前 RAG全流程分为两大核心阶段，对应的流程图如下： 这里必须明确区分RAG与大模型微调（Fine-tuning）的核心差异，避免开发者选型错误： 特性 RAG检索增强生成 大模型微调 核心能力 实时接入私有数据 实战项目接口文档") .description("企业级AI应用开发与RAG检索增强系统接口文档") .version 4.4 智能检索与RAG问答实现 智能检索是RAG的核心环节，核心是将用户的问题向量化，然后从向量数据库中检索出语义最相似的文本块，作为上下文提供给大模型，实现基于私有知识库的精准问答。 效果优化核心方案 RAG的效果取决于检索的精准度与Prompt的质量，以下是经过生产验证的优化方案： 混合检索优化：基础的向量检索只能捕捉语义相似度，无法捕捉关键词匹配，企业级场景必须采用「向量检索+关键词检索
40210编辑于 2026-04-14- 来自专栏云云众生s
评估检索增强生成（RAG）：TruLens + Milvus
越来越多地，向量搜索已成为生成式 AI 在问答应用中的关键企业用例，即所谓的“检索增强生成（retrieval augmented generation）”或RAG。 构建 RAG 在构建高效的 RAG 式 LLM 应用程序时，有许多配置选择可供优化，这些选择可以显着影响检索质量。 TruLens 用于语言模型应用跟踪和评估 TruLens是一个开源库，用于评估和跟踪语言模型应用(如RAG)的性能。通过TruLens，我们还可以利用语言模型本身来评估输出、检索质量等。 RAG 在很大程度上通过为语言模型提供检索上下文来确保准确信息，但无法百分百保证。因此评估对验证应用中不存在幻想至关重要。TruLens 提供了三项测试：上下文相关度、准确性和答案相关度。 上下文相关度 任何 RAG 应用第一步是检索；为验证检索质量，我们要确保每个上下文块与输入查询相关。这非常关键，因为语言模型将使用该上下文生成答案，所以上下文中的任何不相关信息都可能被编织成幻想。
1K10编辑于 2024-03-28 检索增强生成（RAG）的版权新关注
技术层面，这被称为“检索增强生成”（Retrieval-Augmented Generation，简称RAG），本质上是“语言生成模型” 与“信息检索技术”的整合。 二、“检索增强生成”为何会崛起？“检索增强生成”最早由Facebook AI Research团队在2020年发表的《用于知识密集型自然语言处理任务的检索增强生成》一文中提出。 9四、“检索增强生成”涉及作品收集问题在“数据检索收集”阶段，无论是事前建立离线数据库，还是实时在线爬取数据，均涉及将作品的部分或全部以特定方式存储在介质中。 七、“检索增强生成”涉及“合理使用”之争首先，在“数据检索收集”阶段，是否构成版权法上“合理使用”的责任豁免，因数据来源不同而存在差异。一方面，使用盗版内容构建RAG知识库原则上难以构成合理使用。 原告指出：“在输入阶段，Perplexity AI未经许可大量复制原告的受版权保护作品，将其纳入其检索增强生成（RAG）索引，这构成了版权大规模侵权，甚至不构成任何可辩称的合理使用。
55800编辑于 2025-08-14从 0 到 1 构建 RAG 检索增强系统
检索增强生成（RAG，Retrieval-AugmentedGeneration）成为连接大模型与外部知识的重要方式。 本文从0到1系统讲解RAG的核心原理、系统结构及落地步骤，帮助读者构建一个可用、可扩展的RAG检索增强系统，为智能体和企业级AI应用提供可靠基础。 目录一、什么是RAG二、为什么需要RAG三、RAG系统核心架构四、从0到1搭建RAG系统五、一个典型RAG流程示例六、常见问题与优化经验七、总结一、什么是RAGRAG（检索增强生成）是一种将信息检索与文本生成结合的技术框架 RAG的基本流程通常包括三步：1️⃣从知识库中检索相关内容2️⃣将检索结果作为上下文输入模型3️⃣大模型基于上下文生成回答这使得模型回答更可信、更可控。 RAG可以：接入内部知识库保障数据安全提供定制化答案3.降低幻觉风险当模型基于真实检索内容回答时：胡编概率显著下降可追溯性增强结果更可信4.成本可控相比微调大模型：RAG成本更低维护更简单迭代更灵活因此
77210编辑于 2026-02-02检索增强生成机理探寻：为什么要RAG？
检索增强生成机理探寻：为什么要RAG？本文是关于RAG的第三篇文章，前两篇可从作者主页进去。 RAG系列文章的核心观点来自于“灯塔书”《知识增强大模型》第4章《检索增强生成》的内容，这些内容是对书中内容进行补充和概览。 关于为什么要使用RAG，在“灯塔书”《知识增强大模型》详细比较了RAG、SFT、LoRA和长上下文的各自优劣，并以“锂电池供应链管理”的案例作为例子来说明。本文是对其的一点总结和补充。 详细的上下文相关性：先进检索算法的力量RAG采用复杂的检索算法，包括语义搜索和密集检索，以实现上下文相关性。向量嵌入用于捕获查询和文档的语义含义，从而实现基于相似性的检索。 RAG通过使用户能够将用于生成响应的信息追溯到其原始来源来增强信任。这种透明度不仅允许验证准确性，而且还帮助用户了解信息的上下文和可靠性，从而增强了对AI系统的信心。
90910编辑于 2025-04-27- 来自专栏AIGC
【RAG】六步学习检索增强（RAG）,打造你的私域助理
到目前为止，大多数技术人员都听说过 RAG - Retrieval Augmented Generation。简单来说，RAG 只是一种将文档或某些知识源链接到 AI 模型的方法。 即使您对成为 AI 专家不感兴趣，了解 RAG 的所有部分的工作原理也肯定会为您提供良好的服务，因为许多公司将整合这些工作流程。 第四步：RAG with text query(通过检索增强查询文本)我们需要在带有嵌入的库中获取某种形式的知识，并将这些碎片与模型组合在一起。 了解如何将正确的 RAG 策略与深思熟虑的检索和查询策略结合使用正确的模型来完成工作。第五步：RAG with Semantic Query（通过检索增强进行语义查询）现在，您可以开始语义搜索了。 第六步：RAG with Multi-Step, Hybrid Query（通过检索增强进行多步混合查询）并学习如何在笔记本电脑上使用 Hugging Face 中的量化 DRAGON-YI-6b-GGUF
60410编辑于 2024-05-01 检索增强生成RAG的关键特性与优势
什么是检索增强生成呢？ 在灯塔书《知识增强大模型》一书的第四章《检索增强生成》中这样介绍“检索增强生成（Retrieval Augmented Generation，RAG）通过检索外部知识（如文档、知识图谱、数据库等）提升大模型知识的准确性 关于检索增强生成有关的技术，涉及到向量数据库、向量检索和文本检索以及RAG本身的实战，可以阅读灯塔书《知识增强大模型》。 这是通过复杂的检索算法实现的，这些算法能够从庞大且分散的数据集中识别出最相关的文档或数据片段 ，这些算法通常有向量检索（参考灯塔书《知识增强大模型》第3章《向量数据库》、第4章《检索增强生成》以及第8章 《图模互补应用范式》、第9章《知识图谱增强生成与GraphRAG》等）。
1.9K10编辑于 2025-04-21- 来自专栏人工智能
RAG 技术合集：检索增强生成的实践指南
RAG 技术合集：检索增强生成的实践指南—— 从 BM25 到 Learned Retriever，用 400 行代码跑通「开源模型 + 私有数据」端到端场景00 为什么又是 RAG？ RAG（Retrieval-Augmented Generation）把“闭卷考试”变成“开卷带小抄”——先检索后生成，既不改权重，也能把私域知识塞进 7 B 模型，效果常追平甚至反超 60 B。 07 范式 5：迭代式检索 FLARE——当模型自己决定“再查一次”传统 RAG 一次取回 5 段即生成，若答案需跨段落推理，仍可能遗漏。 09 生产部署：FastAPI + Ray Serve 一键起服务@app.post("/rag")def rag_endpoint(req: Query): candidates = colbert_search 已见早期 Demo：用户上传一张仪表盘截图，系统检索对应 K8s Pod 日志 + Prometheus 指标 + Grafana 图表，生成排障报告。届时，检索不再是管道，而是思维。
80911编辑于 2025-09-28 - 来自专栏NLP/KG
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成 由于 RAG 的整体思路是首先将文本切分成不同的组块，然后存储到向量数据库中。 2.2 Self-RAG 经典的 RAG 架构中（包括 KG 进行上下文增强），对召回的上下文无差别地与 query 进行合并，然后访问大模型输出应答。 其核心流程梳理如下 [8]： 将原始文档进行版面分析（基于 Unstructured 工具 [9]），生成原始文本 和 原始表格。 3.3.2 Generator model 给定原始输入 x 和输出 y，我们可借助检索器和 Critic model 进行数据增强。 对每个 segment y_t \in y 而言，可用 Critic model 评估是否需要检索上下文来增强文本生成质量。
5.4K45编辑于 2024-01-10 - 来自专栏大数据杂货铺
正确完成检索增强生成 （RAG）：数据库数据
介绍 检索增强生成 （RAG） 管道正日益成为使用大型语言模型 （LLM） 和您自己的数据实现问答和聊天机器人应用程序的常用方法。 如何使用此类结构化或半结构化数据构建 RAG 管道？ 在这篇博文中，我们将介绍执行此操作的过程，并回顾一些最佳实践。 在这篇博文中，我将重点介绍一个不同的用例，即使用驻留在数据库中的数据构建 RAG 应用程序。 数据库表中的数据被结构化为列，在准备用于生成式 AI 的数据时，必须考虑数据架构并决定如何最好地准备它在 RAG 上下文中使用。 4.某些字段只是被忽略，并且不会在 RAG 流中使用。
2.7K10编辑于 2024-04-02 - 来自专栏AI 大数据
RAG技术：通过向量检索增强模型理解与生成能力
摘要本文介绍了RAG（检索增强生成）技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。 RAG技术通过结合向量检索与生成模型，有效解决了这些问题，提高了模型对外部知识的理解和生成能力。RAG技术原理RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。 同时，针对不同领域的查询需求，定制化向量检索系统的索引构建策略和查询优化方法。QA环节Q1：RAG技术相比传统方法有哪些优势？ Q2：如何评估RAG技术的效果？A2：可以通过对比实验来评估RAG技术的效果。例如，将RAG技术与传统的基于关键词检索的方法进行比较，观察在相同查询条件下，RAG技术是否能够生成更准确、更相关的回答。 总结本文介绍了RAG技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。
62210编辑于 2025-01-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号