- 综合排序
- 最热优先
- 最新优先
- 来自专栏xiaosen
检索增强生成（RAG）
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了检索机制和生成模型的先进技术，旨在提高自然语言处理系统的准确性和上下文相关性。 本文将详细介绍如何从零开始构建一个RAG系统，包括数据处理、检索、生成以及部署等各个环节。 检索管道：根据用户的查询从已索引的数据库中检索最相关的信息，使用检索策略和重排序方法来优化结果。 生成管道：将检索到的数据与用户的查询结合，生成准确、相关且连贯的响应。 构建RAG系统的步骤 1. 文本分块：将长文本分割成较小的块，以便于后续的嵌入和检索。 2. 向量嵌入生成 向量嵌入是RAG系统的基础，它将文本数据转换为数值表示，使得计算机能够理解其语义。 上下文整合与生成响应 一旦获得相关文档，RAG系统将执行以下操作： 上下文整合：将检索到的信息与用户查询结合，形成一个丰富的上下文提示，这一步骤对于生成准确响应至关重要。
1.4K10编辑于 2025-01-03 RAG检索增强生成
模型：（可能编造一个看起来合理但错误的答案）1.2RAG如何解决这些问题？RAG=Retrieval-AugmentedGeneration=检索增强生成核心思想：先搜索，再回答。 │┌───────┼───────┐▼▼▼子查询1子查询2子查询3"Python"Java"Web开发Web开发Web开发语言对比"框架"框架"│││▼▼▼检索结果1检索结果2检索结果3│││└──── ───┼───────┘▼合并去重排序│▼生成最终回答（3）Self-RAG（自反思RAG）让模型自我判断是否需要检索、检索结果是否有用：展开代码语言：TXTAI代码解释┌─────────────── ──否──→重新生成│││是││▼││输出回答│└────────────────────────────────────────────────────┘四、GraphRAG（知识图谱增强RAG）4.1 传统RAG检索到：文档1："李明在技术部工作，向张伟汇报"文档2："张伟已婚，妻子是王丽"传统RAG可能找不到完整信息链，因为这两个文档的关联性不高。
21110编辑于 2026-05-02- 来自专栏机器学习
介绍 RAG（检索增强生成）
什么是 RAG？RAG（Retrieval-Augmented Generation）是一种将检索和生成结合在一起的模型架构，特别适用于回答开放域问答、生成相关文本以及需要丰富背景信息的任务。 RAG 的应用场景RAG 模型在多个领域有广泛的应用，包括但不限于：开放域问答：在回答开放性问题时，RAG 可以从大量文档中检索相关信息，生成更准确和详尽的回答。 信息检索增强：在需要综合多个信息源的任务中，RAG 可以提供更全面的回答或内容。RAG 的优势上下文丰富：通过检索相关信息，RAG 可以生成更符合上下文的回答或内容。 print(response)总结RAG（检索增强生成）通过将检索和生成相结合，能够在需要丰富背景信息的任务中表现出色。 它不仅在开放域问答和对话系统中具有很大的应用潜力，还可以用于文档摘要和信息检索增强等任务。通过适当的数据准备、检索模型训练、生成模型训练和模型融合，可以构建出一个强大的 RAG 系统。
2.4K00编辑于 2024-07-29 - 来自专栏人工智能
检索增强生成（RAG）技术详解
检索增强生成（Retrieval-Augmented Generation，RAG）通过将外部知识检索与生成相结合，有效解决了这些问题。 RAG技术概述 什么是RAG RAG是一种结合信息检索和文本生成的AI架构，工作流程如下： 用户查询 → 检索相关文档 → 生成增强回答 → 返回结果 ↓ │ │ │ │ 查询 + 检索文档 → 增强提示 → 生成回答 │ │ │ └──────────────── # RAG检索增强生成实践代码 import torch import numpy as np from typing import List, Dict, Optional, Tuple import RAG | 一次检索直接生成 | 简单快速 | 上下文可能不足 | 简单问答 | | Recursive RAG | 迭代检索细化 | 提高检索质量 | 计算开销大 | 复杂查询 |
1.4K10编辑于 2026-01-21 - 来自专栏大数据杂货铺
使用检索增强生成 （RAG） 增强 SQL 代理
在本文中，我们将探讨如何通过合并高级分析功能来增强 SQL 代理的功能。想象一下，代理不仅能够提供基本的统计数字，例如客户支付的平均金额，而且还能够提供更高级和更有趣的见解。 检索增强生成 （RAG） 为了便于您的代理了解如何使用这些功能，我建议采用一种称为检索增强生成 （RAG） 的技术。 此方法有助于根据查询查找相关说明。 您提供的示例越多，代理生成的 SQL 语法就越准确。 让我们构建 RAG 要创建 RAG 系统，首先要准备文档。将这些文档转换为向量并将它们保存在向量数据库中，我们将其称为向量数据库。 此外，我们还讨论了创建一个 RAG 来检索相关的语法指令信息。现在，让我们探讨如何无缝集成这两个组件。 RAG 作为工具 在这篇博客中，我详细介绍了 如何利用SQL 代理与数据库交互等工具。 代理结果 结论 通过将 SQL 代理与 RAG 相结合，我们将 LLM 模型的强大功能提升到一个新的水平。此方法允许创建另一个 RAG，使您的代理能够根据结构化数据和文本数据回答问题。
1.2K10编辑于 2024-04-02 - 来自专栏云云众生s
评估检索增强生成（RAG）：TruLens + Milvus
越来越多地，向量搜索已成为生成式 AI 在问答应用中的关键企业用例，即所谓的“检索增强生成（retrieval augmented generation）”或RAG。 构建 RAG 在构建高效的 RAG 式 LLM 应用程序时，有许多配置选择可供优化，这些选择可以显着影响检索质量。 上下文相关度 任何 RAG 应用第一步是检索；为验证检索质量，我们要确保每个上下文块与输入查询相关。这非常关键，因为语言模型将使用该上下文生成答案，所以上下文中的任何不相关信息都可能被编织成幻想。 vector_store = MilvusVectorStore(index_params={ "index_type": index_param, "metric_type": "L2" }, 这里是更新后的表格: 索引类型 嵌入模型 相似度前 k 个 块大小 IVF Flat Multilingual MiniLM L12 v2 1 500 识别出哪些失败模式？
95810编辑于 2024-03-28 【RAG】检索增强生成的评估·综述
相关工作的文章和代码汇总在：Awesome RAG Evaluation 摘要 RAG（Retrieval-Augmented Generation，检索增强生成）由于其复杂的结构性和对检索知识库的依赖 其中RAG主要由检索和生成两阶段组成。检索涉及两个部分，建立文档索引和执行文档检索，通常还会结合精拍/重排来进一步微调检索到的文档排序。 特别是涉及一些创造性任务和逻辑推理任务，常用生成指标，BLEU、ROUGE和F1分数任然无法完全替代真人进行全面评估，不仅如此，还需要考虑检索和生成组件的相互关联，例如生成阶段检索信息的利用率，响应延迟 （2）全面分析了现有的RAG基准测试，总结了它们的优势和局限性，并为RAG系统评估的未来发展提出了建议。 评估目标（What to Evaluate?） 在表2中的评估框架主要采取两种策略来构建评测数据集，一种利用现有数据集，剩下的则会为特定评估目标生成新的数据集。
2K51编辑于 2024-07-19- 来自专栏muller的测试分享
人工智能|RAG 检索增强生成
而 RAG（Retrieval-Augmented Generation），通过将检索模型和生成模型（LLM）结合在一起，即可提高了生成内容的相关性和质量。 RAG 的优点外部知识的利用。 文档生成和自动摘要 （Document Generation and Automatic Summarization）：RAG 可用于自动生成文章段落、文档或自动摘要，基于检索的知识来填充文本，使得生成的内容更具信息价值 信息检索（Information Retrieval）：RAG 可以改进信息检索系统，使其更准确深刻。用户可以提出更具体的查询，不再局限于关键词匹配。 RAG 检索增强的原理从上图可能很多同学非常好奇，大模型是如何与“外挂”数据库进行交互的。不是说大模型不能联网吗？其实大模型和数据库的交互，也是通过提示词完成的。 相关资料RAG 官方文档说明总结理解什么是 RAG 检索增强。理解 RAG 检索增强应用场景。了解 RAG 检索增强有哪些相关的使用方法。
68810编辑于 2024-07-24 检索增强生成（RAG）的版权新关注
技术层面，这被称为“检索增强生成”（Retrieval-Augmented Generation，简称RAG），本质上是“语言生成模型” 与“信息检索技术”的整合。 二、“检索增强生成”为何会崛起？“检索增强生成”最早由Facebook AI Research团队在2020年发表的《用于知识密集型自然语言处理任务的检索增强生成》一文中提出。 62025年2月13日，《大西洋月刊》《卫报》等十四家全球头部新闻出版商于纽约南区联邦法院起诉加拿大AI公司Cohere，指控其依赖“检索增强生成”技术，通过“网络搜索连接器”（Web Search Connector 七、“检索增强生成”涉及“合理使用”之争首先，在“数据检索收集”阶段，是否构成版权法上“合理使用”的责任豁免，因数据来源不同而存在差异。一方面，使用盗版内容构建RAG知识库原则上难以构成合理使用。 原告指出：“在输入阶段，Perplexity AI未经许可大量复制原告的受版权保护作品，将其纳入其检索增强生成（RAG）索引，这构成了版权大规模侵权，甚至不构成任何可辩称的合理使用。
51900编辑于 2025-08-14- 来自专栏人工智能
RAG 技术合集：检索增强生成的实践指南
RAG 技术合集：检索增强生成的实践指南—— 从 BM25 到 Learned Retriever，用 400 行代码跑通「开源模型 + 私有数据」端到端场景00 为什么又是 RAG？ RAG（Retrieval-Augmented Generation）把“闭卷考试”变成“开卷带小抄”——先检索后生成，既不改权重，也能把私域知识塞进 7 B 模型，效果常追平甚至反超 60 B。 07 范式 5：迭代式检索 FLARE——当模型自己决定“再查一次”传统 RAG 一次取回 5 段即生成，若答案需跨段落推理，仍可能遗漏。 11 常见坑与处方坑现象处方切片过大检索命中但答案截断384 token 黄金值 + 64 重叠度量不一致Dense 用 cos，ColBERT 用 L2，结果不可比统一归一化到 0-1上下文爆炸生成侧 已见早期 Demo：用户上传一张仪表盘截图，系统检索对应 K8s Pod 日志 + Prometheus 指标 + Grafana 图表，生成排障报告。届时，检索不再是管道，而是思维。
74710编辑于 2025-09-28 检索增强生成机理探寻：为什么要RAG？
检索增强生成机理探寻：为什么要RAG？本文是关于RAG的第三篇文章，前两篇可从作者主页进去。 RAG系列文章的核心观点来自于“灯塔书”《知识增强大模型》第4章《检索增强生成》的内容，这些内容是对书中内容进行补充和概览。 典型应用方法：1）知识连接层对接结构化数据库（MySQL/MongoDB）、API服务（REST/GraphQL）和互联网资源；2）检索优化层使用文本转SQL、语义路由等技术进行查询优化；3）上下文整合层通过注意力机制融合检索结果与 应对幻觉：信息流控制和事实生成平衡的策略RAG内部存在控制信息流的机制，以最大限度地减少幻觉的产生。RAG平衡了检索到的事实与语言模型的生成能力，以保持连贯性，同时确保事实准确性。 RAG通过使用户能够将用于生成响应的信息追溯到其原始来源来增强信任。这种透明度不仅允许验证准确性，而且还帮助用户了解信息的上下文和可靠性，从而增强了对AI系统的信心。
88910编辑于 2025-04-27检索增强生成RAG的关键特性与优势
什么是检索增强生成呢？ 在灯塔书《知识增强大模型》一书的第四章《检索增强生成》中这样介绍“检索增强生成（Retrieval Augmented Generation，RAG）通过检索外部知识（如文档、知识图谱、数据库等）提升大模型知识的准确性 关于检索增强生成有关的技术，涉及到向量数据库、向量检索和文本检索以及RAG本身的实战，可以阅读灯塔书《知识增强大模型》。 这是通过复杂的检索算法实现的，这些算法能够从庞大且分散的数据集中识别出最相关的文档或数据片段 ，这些算法通常有向量检索（参考灯塔书《知识增强大模型》第3章《向量数据库》、第4章《检索增强生成》以及第8章 减少幻觉生成：基于事实的生成 RAG通过控制信息流，平衡检索事实与生成内容，最大限度地减少虚构信息。
1.9K10编辑于 2025-04-21- 来自专栏大数据杂货铺
正确完成检索增强生成 （RAG）：数据库数据
介绍 检索增强生成 （RAG） 管道正日益成为使用大型语言模型 （LLM） 和您自己的数据实现问答和聊天机器人应用程序的常用方法。 然而，众所周知，RDBMS系统和基于关键字的索引很难利用这种类型的用户生成的内容。我们将使用 Vectara 构建一个 RAG 应用程序，以允许用户提出以下问题： ·什么是最适合儿童的博物馆？ 数据库表中的数据被结构化为列，在准备用于生成式 AI 的数据时，必须考虑数据架构并决定如何最好地准备它在 RAG 上下文中使用。 4.某些字段只是被忽略，并且不会在 RAG 流中使用。 另一个结果提到某个公寓附近的一家夜总会，直到凌晨 1-2 点左右才能听到热闹游客的噪音。
2.7K10编辑于 2024-04-02 - 来自专栏AI
深入解析 RAG：检索增强生成的原理与应用
RAG 简介RAG 是“检索增强生成”（Retrieval-Augmented Generation）的简称，简单来说，就是一种让 AI 更聪明的方法。它把“找资料”和“写答案”两件事结合起来。 生成阶段输入：用户查询 + 检索到的 Top-K 文档。 工具：一个序列到序列（Seq2Seq）的生成模型，如 BART 或 T5。 过程： 将查询和检索到的文档拼接，作为生成模型的输入。 undefined - 输入格式：Query Document 2 ... Document Kundefined - 输出：直接生成自然语言回答。 RAG 的优势与局限优势知识扩展性：通过外部知识库，RAG 能处理超出训练数据范围的问题。 可解释性：回答可以追溯到具体的检索文档，增强用户信任。 总结RAG（检索增强生成）通过将检索与生成结合，突破了传统语言模型的局限。它不仅能生成流畅的文本，还能动态调用外部知识，提供准确且可信的回答。
2.4K10编辑于 2025-03-11 - 来自专栏自然语言处理
RAG科普文！检索增强生成的技术全景解析
RAG 相关技术的八个主题：https://pub.towardsai.net/a-taxonomy-of-retrieval-augmented-generation-a39eb2c4e2ab 增强生成 检索增强生成增强了 LLM 响应的可靠性和可信度 如今，RAG 涵盖了广泛的技术、模型和方法。对于新手来说，这可能会有点难以理解。 增强：将检索到的信息添加到用户查询的过程。 生成：在提供增强提示时，LLM 生成结果的过程。 来源引文：RAG 系统能够指出知识库中用于生成响应的信息 无限内存：可以将任意数量的文档添加到 RAG 知识库 RAG的作用 2.核心组件 2.A — 索引 索引管道：用于为 RAG 应用程序创建知识库的一组流程 管道设计 4.A — 幼稚的 RAG 朴素 RAG：一种具有顺序索引、检索、增强和生成过程的基本线性方法。
2.2K31编辑于 2025-02-15 - 来自专栏AI 大数据
RAG技术：通过向量检索增强模型理解与生成能力
摘要本文介绍了RAG（检索增强生成）技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。 然而，大模型在缺乏实时知识更新和生成内容准确性方面仍存在挑战。RAG技术通过结合向量检索与生成模型，有效解决了这些问题，提高了模型对外部知识的理解和生成能力。 RAG技术原理RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。 Q2：如何评估RAG技术的效果？A2：可以通过对比实验来评估RAG技术的效果。例如，将RAG技术与传统的基于关键词检索的方法进行比较，观察在相同查询条件下，RAG技术是否能够生成更准确、更相关的回答。 总结本文介绍了RAG技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。
60610编辑于 2025-01-28 - 来自专栏自然语言处理
带你了解7种检索增强生成 (RAG) 技术
回顾2023年RAG技术的发展，检索增强生成（Retrieval-Augmented Generation，RAG）技术彻底改变了人工智能模型的工作方式，它将生成式人工智能的优势与检索现实世界文档的精确性相结合 检索器根据相关性对文档进行排名，并选择最相关的k个（例如，前5个）段落。 生成答案：选定的文档被传递给LLM，LLM使用这些文档作为上下文，生成一个结构良好且相关的答案。 2. 图RAG(Graph RAG) GraphRAG 是微软公司内部广受赞誉的一种结合了检索增强生成（RAG）技术和知识图谱的先进框架。 GraphRAG 的核心目的在于从数据库中检索最相关的知识，以增强下游任务的答案质量，提供更准确和丰富的生成结果。 工作原理 1. 生成社区摘要：利用 LLM 为每个社区生成摘要信息，这些摘要提供了对数据集全局主题结构和语义的高层次理解，是回答高层次查询问题的关键。 2.
9K31编辑于 2025-01-06 - 来自专栏AI应用开发实践
检索增强生成
一 什么是RAG RAG，英文全称是 Retrieval-Augmented Generation，中文我们一般叫做检索增强生成，这是一种结合信息检索技术与生成式大语言模型（LLM）的框架。 RAG 的核心思想是：在生成答案前，先从外部知识库中检索相关信息，并将这些信息作为上下文输入大模型，从而提升生成内容的准确性和时效性。 他可能会瞎编：“《星际穿越2》上周刚上映，评分 9.8！”（其实根本没这部电影） 这时候你会说：“等等，你先去豆瓣查一下再回答！” 这个“先查资料再回答”的过程，就是 RAG（检索增强生成）的核心！ 三 如何实现 RAG 我们来看下这张经典的 RAG 流程图： 这张图清晰展示了检索增强生成（RAG）的核心流程，分为数据准备和问答生成两大阶段。 我们分别来看。 七 RAG 的局限性 尽管 RAG 优势显著，但仍面临以下挑战： 检索质量依赖性强： 若知识库包含错误或无关信息（如过时政策），生成的答案可能受影响。
36510编辑于 2026-03-26 检索增强生成（RAG）：大模型的‘外挂知识库
什么是RAG RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索技术与生成式大模型（LLM）的AI框架。 （2）生成响应 使用生成模型（如GPT、T5等）基于整合后的输入生成最终响应。 生成模型的任务： 理解用户问题和检索到的文档。 结合文档内容生成准确、连贯的回答。 （2）生成模型 预训练语言模型：如GPT、T5、BART等，具有较强的文本生成能力。 上下文理解：生成模型需要理解用户问题和检索到的文档之间的关联。 准确性高 检索增强：通过从外部知识库中检索相关文档，生成模型能够基于真实、可靠的信息生成回答，显著提高准确性。 减少幻觉：相比纯生成模型（如GPT），RAG减少了生成虚假或无关内容的可能性。 2. 可解释性强 基于文档生成：RAG的回答通常基于检索到的文档，用户可以追溯生成结果的来源，增强可信度。 透明性：检索到的文档可以作为生成过程的依据，使系统更具透明性。 3.
1.7K10编辑于 2025-05-31- 来自专栏自然语言处理
检索增强生成 (RAG) 的 5 大 提示词，非常实用！
RAG 到底是啥？怎么用得更好？ (高手略过) 从去年到现在，检索增强生成（RAG）这套玩法越来越火。 2️⃣ 检索相关内容：从知识库中找到匹配的信息片段。 3️⃣ 组合提示词：把优化后的问题和检索到的内容放进提示词里。 4️⃣ 让 RAG 生成答案：确保 RAG 回答时紧扣检索内容，不添油加醋。 摘要： （插入检索到的相关文本或要点） 现在你的最终答案是什么？”_ 为什么这个方法有效？ ✅ 减少“幻觉”问题：RAG 只会用现有数据回答，避免胡乱生成内容。 这个提示词能引导 RAG 进行“先写后改”： 第一步： “根据用户请求，生成一份完整的草稿，并结合下方 RAG 检索的所有相关段落。” 以下四个实用技巧可以帮助你优化 RAG 提示词，提高整体生成效果。 1. 清理和整理 RAG 数据源 RAG 的输出质量，取决于它能检索到的内容。
2.2K11编辑于 2025-03-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号