- 综合排序
- 最热优先
- 最新优先
- 来自专栏xiaosen
检索增强生成（RAG）
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了检索机制和生成模型的先进技术，旨在提高自然语言处理系统的准确性和上下文相关性。 本文将详细介绍如何从零开始构建一个RAG系统，包括数据处理、检索、生成以及部署等各个环节。 检索管道：根据用户的查询从已索引的数据库中检索最相关的信息，使用检索策略和重排序方法来优化结果。 生成管道：将检索到的数据与用户的查询结合，生成准确、相关且连贯的响应。 构建RAG系统的步骤 1. 文本分块：将长文本分割成较小的块，以便于后续的嵌入和检索。 2. 向量嵌入生成 向量嵌入是RAG系统的基础，它将文本数据转换为数值表示，使得计算机能够理解其语义。 上下文整合与生成响应 一旦获得相关文档，RAG系统将执行以下操作： 上下文整合：将检索到的信息与用户查询结合，形成一个丰富的上下文提示，这一步骤对于生成准确响应至关重要。
1.3K10编辑于 2025-01-03 - 来自专栏机器学习
介绍 RAG（检索增强生成）
什么是 RAG？RAG（Retrieval-Augmented Generation）是一种将检索和生成结合在一起的模型架构，特别适用于回答开放域问答、生成相关文本以及需要丰富背景信息的任务。 RAG 的应用场景RAG 模型在多个领域有广泛的应用，包括但不限于：开放域问答：在回答开放性问题时，RAG 可以从大量文档中检索相关信息，生成更准确和详尽的回答。 信息检索增强：在需要综合多个信息源的任务中，RAG 可以提供更全面的回答或内容。RAG 的优势上下文丰富：通过检索相关信息，RAG 可以生成更符合上下文的回答或内容。 print(response)总结RAG（检索增强生成）通过将检索和生成相结合，能够在需要丰富背景信息的任务中表现出色。 它不仅在开放域问答和对话系统中具有很大的应用潜力，还可以用于文档摘要和信息检索增强等任务。通过适当的数据准备、检索模型训练、生成模型训练和模型融合，可以构建出一个强大的 RAG 系统。
2.4K00编辑于 2024-07-29 - 来自专栏人工智能
检索增强生成（RAG）技术详解
检索增强生成（Retrieval-Augmented Generation，RAG）通过将外部知识检索与生成相结合，有效解决了这些问题。 RAG技术概述 什么是RAG RAG是一种结合信息检索和文本生成的AI架构，工作流程如下： 用户查询 → 检索相关文档 → 生成增强回答 → 返回结果 ↓ │ │ │ │ 查询 + 检索文档 → 增强提示 → 生成回答 │ │ │ └──────────────── # RAG检索增强生成实践代码 import torch import numpy as np from typing import List, Dict, Optional, Tuple import RAG | 一次检索直接生成 | 简单快速 | 上下文可能不足 | 简单问答 | | Recursive RAG | 迭代检索细化 | 提高检索质量 | 计算开销大 | 复杂查询 |
1.1K10编辑于 2026-01-21 - 来自专栏大数据杂货铺
使用检索增强生成 （RAG） 增强 SQL 代理
在本文中，我们将探讨如何通过合并高级分析功能来增强 SQL 代理的功能。想象一下，代理不仅能够提供基本的统计数字，例如客户支付的平均金额，而且还能够提供更高级和更有趣的见解。 检索增强生成 （RAG） 为了便于您的代理了解如何使用这些功能，我建议采用一种称为检索增强生成 （RAG） 的技术。 此方法有助于根据查询查找相关说明。 您提供的示例越多，代理生成的 SQL 语法就越准确。 让我们构建 RAG 要创建 RAG 系统，首先要准备文档。将这些文档转换为向量并将它们保存在向量数据库中，我们将其称为向量数据库。 此外，我们还讨论了创建一个 RAG 来检索相关的语法指令信息。现在，让我们探讨如何无缝集成这两个组件。 RAG 作为工具 在这篇博客中，我详细介绍了 如何利用SQL 代理与数据库交互等工具。 代理结果 结论 通过将 SQL 代理与 RAG 相结合，我们将 LLM 模型的强大功能提升到一个新的水平。此方法允许创建另一个 RAG，使您的代理能够根据结构化数据和文本数据回答问题。
1.1K10编辑于 2024-04-02 - 来自专栏云云众生s
评估检索增强生成（RAG）：TruLens + Milvus
越来越多地，向量搜索已成为生成式 AI 在问答应用中的关键企业用例，即所谓的“检索增强生成（retrieval augmented generation）”或RAG。 构建 RAG 在构建高效的 RAG 式 LLM 应用程序时，有许多配置选择可供优化，这些选择可以显着影响检索质量。 TruLens 用于语言模型应用跟踪和评估 TruLens是一个开源库，用于评估和跟踪语言模型应用(如RAG)的性能。通过TruLens，我们还可以利用语言模型本身来评估输出、检索质量等。 RAG 在很大程度上通过为语言模型提供检索上下文来确保准确信息，但无法百分百保证。因此评估对验证应用中不存在幻想至关重要。TruLens 提供了三项测试：上下文相关度、准确性和答案相关度。 上下文相关度 任何 RAG 应用第一步是检索；为验证检索质量，我们要确保每个上下文块与输入查询相关。这非常关键，因为语言模型将使用该上下文生成答案，所以上下文中的任何不相关信息都可能被编织成幻想。
91310编辑于 2024-03-28 【RAG】检索增强生成的评估·综述
相关工作的文章和代码汇总在：Awesome RAG Evaluation 摘要 RAG（Retrieval-Augmented Generation，检索增强生成）由于其复杂的结构性和对检索知识库的依赖 其中RAG主要由检索和生成两阶段组成。检索涉及两个部分，建立文档索引和执行文档检索，通常还会结合精拍/重排来进一步微调检索到的文档排序。 最后大语言模型结合用户问题、检索到的文档和改进的提示词生成最终的响应。但如何确保生成内容的真实性、全面性、准确性和生成模型的抗干扰性仍是需要考虑的难点。 特别是涉及一些创造性任务和逻辑推理任务，常用生成指标，BLEU、ROUGE和F1分数任然无法完全替代真人进行全面评估，不仅如此，还需要考虑检索和生成组件的相互关联，例如生成阶段检索信息的利用率，响应延迟 Auepora (A Unified Evaluation Process of RAG) 为了应对这些挑战，系统性的比较RAG系统的检索和生成质量，本文提出A Unified Evaluation Process
2K51编辑于 2024-07-19- 来自专栏muller的测试分享
人工智能|RAG 检索增强生成
而 RAG（Retrieval-Augmented Generation），通过将检索模型和生成模型（LLM）结合在一起，即可提高了生成内容的相关性和质量。 RAG 的优点外部知识的利用。 文档生成和自动摘要 （Document Generation and Automatic Summarization）：RAG 可用于自动生成文章段落、文档或自动摘要，基于检索的知识来填充文本，使得生成的内容更具信息价值 信息检索（Information Retrieval）：RAG 可以改进信息检索系统，使其更准确深刻。用户可以提出更具体的查询，不再局限于关键词匹配。 RAG 检索增强的原理从上图可能很多同学非常好奇，大模型是如何与“外挂”数据库进行交互的。不是说大模型不能联网吗？其实大模型和数据库的交互，也是通过提示词完成的。 相关资料RAG 官方文档说明总结理解什么是 RAG 检索增强。理解 RAG 检索增强应用场景。了解 RAG 检索增强有哪些相关的使用方法。
67110编辑于 2024-07-24 检索增强生成（RAG）的版权新关注
技术层面，这被称为“检索增强生成”（Retrieval-Augmented Generation，简称RAG），本质上是“语言生成模型” 与“信息检索技术”的整合。 二、“检索增强生成”为何会崛起？“检索增强生成”最早由Facebook AI Research团队在2020年发表的《用于知识密集型自然语言处理任务的检索增强生成》一文中提出。 六、“检索增强生成”涉及作品利用问题在“内容整合展示”阶段，需要评估检索增强生成对作品的利用，是否落入版权法规制的“直接侵权”和“间接侵权”的范畴。 七、“检索增强生成”涉及“合理使用”之争首先，在“数据检索收集”阶段，是否构成版权法上“合理使用”的责任豁免，因数据来源不同而存在差异。一方面，使用盗版内容构建RAG知识库原则上难以构成合理使用。 原告指出：“在输入阶段，Perplexity AI未经许可大量复制原告的受版权保护作品，将其纳入其检索增强生成（RAG）索引，这构成了版权大规模侵权，甚至不构成任何可辩称的合理使用。
47500编辑于 2025-08-14- 来自专栏人工智能
RAG 技术合集：检索增强生成的实践指南
RAG 技术合集：检索增强生成的实践指南—— 从 BM25 到 Learned Retriever，用 400 行代码跑通「开源模型 + 私有数据」端到端场景00 为什么又是 RAG？ RAG（Retrieval-Augmented Generation）把“闭卷考试”变成“开卷带小抄”——先检索后生成，既不改权重，也能把私域知识塞进 7 B 模型，效果常追平甚至反超 60 B。 07 范式 5：迭代式检索 FLARE——当模型自己决定“再查一次”传统 RAG 一次取回 5 段即生成，若答案需跨段落推理，仍可能遗漏。 08 高级调优：Learned Retriever + RL用 RL (REINFORCE) 把检索器当成 Policy，奖励为生成答案的 F1。 已见早期 Demo：用户上传一张仪表盘截图，系统检索对应 K8s Pod 日志 + Prometheus 指标 + Grafana 图表，生成排障报告。届时，检索不再是管道，而是思维。
62410编辑于 2025-09-28 检索增强生成机理探寻：为什么要RAG？
检索增强生成机理探寻：为什么要RAG？本文是关于RAG的第三篇文章，前两篇可从作者主页进去。 RAG系列文章的核心观点来自于“灯塔书”《知识增强大模型》第4章《检索增强生成》的内容，这些内容是对书中内容进行补充和概览。 应对幻觉：信息流控制和事实生成平衡的策略RAG内部存在控制信息流的机制，以最大限度地减少幻觉的产生。RAG平衡了检索到的事实与语言模型的生成能力，以保持连贯性，同时确保事实准确性。 提示工程在引导LLM优先考虑检索到的信息并避免生成推测性内容方面发挥着作用。事实核查机制和置信度阈值与RAG结合使用，以进一步减少幻觉。 RAG通过使用户能够将用于生成响应的信息追溯到其原始来源来增强信任。这种透明度不仅允许验证准确性，而且还帮助用户了解信息的上下文和可靠性，从而增强了对AI系统的信心。
87010编辑于 2025-04-27检索增强生成RAG的关键特性与优势
什么是检索增强生成呢？ 在灯塔书《知识增强大模型》一书的第四章《检索增强生成》中这样介绍“检索增强生成（Retrieval Augmented Generation，RAG）通过检索外部知识（如文档、知识图谱、数据库等）提升大模型知识的准确性 关于检索增强生成有关的技术，涉及到向量数据库、向量检索和文本检索以及RAG本身的实战，可以阅读灯塔书《知识增强大模型》。 这是通过复杂的检索算法实现的，这些算法能够从庞大且分散的数据集中识别出最相关的文档或数据片段 ，这些算法通常有向量检索（参考灯塔书《知识增强大模型》第3章《向量数据库》、第4章《检索增强生成》以及第8章 减少幻觉生成：基于事实的生成 RAG通过控制信息流，平衡检索事实与生成内容，最大限度地减少虚构信息。
1.9K10编辑于 2025-04-21- 来自专栏AI
深入解析 RAG：检索增强生成的原理与应用
RAG 简介RAG 是“检索增强生成”（Retrieval-Augmented Generation）的简称，简单来说，就是一种让 AI 更聪明的方法。它把“找资料”和“写答案”两件事结合起来。 端到端训练RAG 的检索器和生成器并不是独立工作的。它们通过联合优化，确保检索到的文档对生成任务最有用。具体来说：undefined - 检索器会根据生成器的反馈，学习挑选更高质量的文档。 RAG 的优势与局限优势知识扩展性：通过外部知识库，RAG 能处理超出训练数据范围的问题。 可解释性：回答可以追溯到具体的检索文档，增强用户信任。 未来发展方向RAG 的提出开启了生成模型与外部知识结合的新篇章，但仍有改进空间： 多模态 RAG：结合图像、音频等数据进行检索和生成。 高效检索：优化检索速度，适应实时应用。 总结RAG（检索增强生成）通过将检索与生成结合，突破了传统语言模型的局限。它不仅能生成流畅的文本，还能动态调用外部知识，提供准确且可信的回答。
2.4K10编辑于 2025-03-11 - 来自专栏自然语言处理
RAG科普文！检索增强生成的技术全景解析
Lewis 等人在其开创性论文中提出了一个新概念面向知识密集型 NLP 任务的检索增强生成之后，RAG 迅速成为基石，提高了大型语言模型 (LLM) 输出的可靠性和可信度。 检索增强生成增强了 LLM 响应的可靠性和可信度 如今，RAG 涵盖了广泛的技术、模型和方法。对于新手来说，这可能会有点难以理解。 增强：将检索到的信息添加到用户查询的过程。 生成：在提供增强提示时，LLM 生成结果的过程。 RAGAS：检索增强生成评估 (RAGA) 是由 Exploding Gradients 开发的一个框架，用于评估 RAG 系统的检索和生成组件，而无需依赖大量人工注释。 管道设计 4.A — 幼稚的 RAG 朴素 RAG：一种具有顺序索引、检索、增强和生成过程的基本线性方法。
2.1K31编辑于 2025-02-15 - 来自专栏大数据杂货铺
正确完成检索增强生成 （RAG）：数据库数据
介绍 检索增强生成 （RAG） 管道正日益成为使用大型语言模型 （LLM） 和您自己的数据实现问答和聊天机器人应用程序的常用方法。 在这篇博文中，我将重点介绍一个不同的用例，即使用驻留在数据库中的数据构建 RAG 应用程序。 然而，众所周知，RDBMS系统和基于关键字的索引很难利用这种类型的用户生成的内容。我们将使用 Vectara 构建一个 RAG 应用程序，以允许用户提出以下问题： ·什么是最适合儿童的博物馆？ 数据库表中的数据被结构化为列，在准备用于生成式 AI 的数据时，必须考虑数据架构并决定如何最好地准备它在 RAG 上下文中使用。 4.某些字段只是被忽略，并且不会在 RAG 流中使用。
2.6K10编辑于 2024-04-02 - 来自专栏AI 大数据
RAG技术：通过向量检索增强模型理解与生成能力
摘要本文介绍了RAG（检索增强生成）技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。 然而，大模型在缺乏实时知识更新和生成内容准确性方面仍存在挑战。RAG技术通过结合向量检索与生成模型，有效解决了这些问题，提高了模型对外部知识的理解和生成能力。 RAG技术原理RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。 Q2：如何评估RAG技术的效果？A2：可以通过对比实验来评估RAG技术的效果。例如，将RAG技术与传统的基于关键词检索的方法进行比较，观察在相同查询条件下，RAG技术是否能够生成更准确、更相关的回答。 总结本文介绍了RAG技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。
57110编辑于 2025-01-28 - 来自专栏自然语言处理
带你了解7种检索增强生成 (RAG) 技术
回顾2023年RAG技术的发展，检索增强生成（Retrieval-Augmented Generation，RAG）技术彻底改变了人工智能模型的工作方式，它将生成式人工智能的优势与检索现实世界文档的精确性相结合 校正RAG（Corrective RAG） 在校正RAG中，系统不仅检索和生成答案，还会验证并校正这些答案。 工作原理： 搜索与检索：与简单RAG类似，系统根据查询检索相关文档。 自省RAG（Self RAG） 自省RAG通过自我反思或自我批评来提高RAG结果的质量。 工作原理： 搜索与检索：模型首先检索相关信息并根据输入查询生成答案。 图RAG(Graph RAG) GraphRAG 是微软公司内部广受赞誉的一种结合了检索增强生成（RAG）技术和知识图谱的先进框架。 GraphRAG 的核心目的在于从数据库中检索最相关的知识，以增强下游任务的答案质量，提供更准确和丰富的生成结果。 工作原理 1.
8.8K31编辑于 2025-01-06 - 来自专栏AI应用开发实践
检索增强生成
一 什么是RAG RAG，英文全称是 Retrieval-Augmented Generation，中文我们一般叫做检索增强生成，这是一种结合信息检索技术与生成式大语言模型（LLM）的框架。 RAG 的核心思想是：在生成答案前，先从外部知识库中检索相关信息，并将这些信息作为上下文输入大模型，从而提升生成内容的准确性和时效性。 这个“先查资料再回答”的过程，就是 RAG（检索增强生成）的核心！ 具体来说，RAG 就是让 AI 学会“先查资料再说话”。 三 如何实现 RAG 我们来看下这张经典的 RAG 流程图： 这张图清晰展示了检索增强生成（RAG）的核心流程，分为数据准备和问答生成两大阶段。 我们分别来看。 七 RAG 的局限性 尽管 RAG 优势显著，但仍面临以下挑战： 检索质量依赖性强： 若知识库包含错误或无关信息（如过时政策），生成的答案可能受影响。
28610编辑于 2026-03-26 - 来自专栏自然语言处理
检索增强生成 (RAG) 的 5 大 提示词，非常实用！
RAG 到底是啥？怎么用得更好？ (高手略过) 从去年到现在，检索增强生成（RAG）这套玩法越来越火。 2️⃣ 检索相关内容：从知识库中找到匹配的信息片段。 3️⃣ 组合提示词：把优化后的问题和检索到的内容放进提示词里。 4️⃣ 让 RAG 生成答案：确保 RAG 回答时紧扣检索内容，不添油加醋。 摘要： （插入检索到的相关文本或要点） 现在你的最终答案是什么？”_ 为什么这个方法有效？ ✅ 减少“幻觉”问题：RAG 只会用现有数据回答，避免胡乱生成内容。 这个提示词能引导 RAG 进行“先写后改”： 第一步： “根据用户请求，生成一份完整的草稿，并结合下方 RAG 检索的所有相关段落。” 以下四个实用技巧可以帮助你优化 RAG 提示词，提高整体生成效果。 1. 清理和整理 RAG 数据源 RAG 的输出质量，取决于它能检索到的内容。
2.1K11编辑于 2025-03-15 检索增强生成（RAG）：大模型的‘外挂知识库
什么是RAG RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索技术与生成式大模型（LLM）的AI框架。 它通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大模型，从而增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。 工作原理 1. 生成（Generation） （1）输入整合 将用户输入和检索到的文档整合为一个增强的输入。 例如： 用户输入：“量子计算的基本原理是什么？” 准确性高 检索增强：通过从外部知识库中检索相关文档，生成模型能够基于真实、可靠的信息生成回答，显著提高准确性。 减少幻觉：相比纯生成模型（如GPT），RAG减少了生成虚假或无关内容的可能性。 2. 可解释性强 基于文档生成：RAG的回答通常基于检索到的文档，用户可以追溯生成结果的来源，增强可信度。 透明性：检索到的文档可以作为生成过程的依据，使系统更具透明性。 3.
1.6K10编辑于 2025-05-31- 来自专栏Elastic Stack专栏
使用 LlamaIndex、Elasticsearch 和 Mistral 进行检索增强生成（RAG）
在这篇文章中，我们将探讨如何使用Elasticsearch作为向量数据库，结合RAG技术（检索增强生成）来实现问答体验。我们会使用LlamaIndex和一个本地运行的Mistral LLM模型。 LlamaIndex为构建RAG（检索增强生成）应用的各个阶段提供了抽象。像LlamaIndex和LangChain这样的框架提供了抽象层，使得应用程序不会紧密绑定到任何特定LLM的API上。 检索增强生成（RAG） 是一种AI技术/模式，其中LLM被提供外部知识以生成对用户查询的响应。这使得LLM的响应能够针对特定上下文进行定制，从而使响应更加具体。 这些“对话”连同原始问题一起被发送到本地运行的LLM以生成答案。 构建RAG应用的步骤 本地运行Mistral 下载并安装Ollama。 在后续的博客中，我们将看到如何在RAG流程中屏蔽PII信息后再发送到外部LLM。
3.1K62编辑于 2024-04-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号