- 综合排序
- 最热优先
- 最新优先
- 来自专栏DeepHub IMBA
Langchain中改进RAG能力的3种常用的扩展查询方法
有多种方法可以提高检索增强生成(RAG)的能力，其中一种方法称为查询扩展。 我们这里主要介绍在Langchain中常用的3种方法 查询扩展技术涉及对用户的原始查询进行细化，以生成更全面和信息丰富的搜索。使用扩展后的查询将从向量数据库中获取更多相关文档。 因为Langchain 有详细的文档，我们就不贴代码了 3、Cross Encoding Re-Ranking 这个方法是多查询和交叉编码器重新排序的结合，当用户使用LLM生成更多的问题时，每个生成的查询都从向量数据库中提取一对文档 qa_prompt | llm | StrOutputParser() ) question_string = rag_chain.invoke 总结 以上就是最常用的3种改进RAG能力扩展查询方法。当你在使用RAG时，并且没有得到正确或详细的答案，可以使用上述查询扩展方法来解决这些问题。希望所有这些技术可以用于你的下一个项目。
1.4K10编辑于 2024-01-31 - 来自专栏AgenticAI
实战微软新一代RAG：GraphRAG强大的全局理解能力，碾压朴素RAG？
微软近日开源了新一代RAG框架GraphRAG[1]，以解决当前RAG在大型语料库上全局理解问题。 当前RAG主要聚焦于局部检索能力，即根据查询语句在向量库中匹配部分知识，然后通过大型语言模型合成这些检索到的信息，生成一个自然流畅的回答。 下一篇，我们将使用LlamaIndex测试同样问题进行对比全局理解能力。 1. 使用Groq，Groq上的模型除了Mistral的上下文窗口是32K，其他的诸如llama3 70B、Gemma等都是8192。 王林对“仙人”的概念着迷，反映了他对于超自然能力和永生的渴望。他的故事中还包含了与Heng Yue Faction青年的互动，这些交流影响了社区的动态和选拔过程。
1.5K10编辑于 2025-03-18 - 来自专栏AI 大数据
RAG技术：通过向量检索增强模型理解与生成能力
摘要本文介绍了RAG（检索增强生成）技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。 RAG技术通过结合向量检索与生成模型，有效解决了这些问题，提高了模型对外部知识的理解和生成能力。RAG技术原理RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。 技术系统架构图优化与改进为了提升RAG技术的效果，可以持续优化生成模型的训练数据和参数配置，以提高其对自然语言的理解能力和语义分析准确性。 Q2：如何评估RAG技术的效果？A2：可以通过对比实验来评估RAG技术的效果。例如，将RAG技术与传统的基于关键词检索的方法进行比较，观察在相同查询条件下，RAG技术是否能够生成更准确、更相关的回答。 总结本文介绍了RAG技术的原理与应用，特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。
64510编辑于 2025-01-28 - 来自专栏DeepHub IMBA
RAG中的3个高级检索技巧
RAG系统检索的文档可能并不总是与用户的查询保持一致，这是一个常见的现象。 本文将探讨三种有效的技术来增强基于rag的应用程序中的文档检索，通过结合这些技术，可以检索与用户查询密切匹配的更相关的文档，从而生成更好的答案。 查询扩展 查询扩展指的是一组重新表述原始查询的技术。 # 3. How much debt does the company have? Is it increasing or decreasing? # 4. query_embedding) return torch.cosine_similarity(updated_query_embedding, document_embedding, dim=0) 3、 但是这方面的研究还正在进行，还有很多其他方法例如, 利用真实反馈数据对嵌入模型进行微调；直接微调LLM以使其检索能力最大化(RA-DIT)；探索更复杂的嵌入适配器使用深度神经网络而不是矩阵；深度和智能分块技术
1.3K10编辑于 2024-01-23 - 来自专栏DeepHub IMBA
使用知识图谱提高RAG的能力，减少大模型幻觉
3、检索与上一步中确定的最近邻向量相对应的客户配置文件。这些概要文件将根据定义的相似性度量表示与参考客户相似的客户。 3、对图数据库执行查询，根据查询模式检索结果节点(朋友的朋友)，可以获得关于检索节点的特定属性或其他信息。 图数据库可以提供更高级的查询功能，包括过滤、聚合和复杂的模式匹配。 所以下面我们使用一个简单的例子来介绍如何使用知识图谱构建RAG。 3、需要大型语言模型来根据所提供的问题和上下文生成响应。 对于RAG，知识图谱是一个非常好的应用方向。 作者：Plaban Nayak 喜欢就关注一下吧： 点个 在看 你最好看！
1.9K11编辑于 2024-01-08 - 来自专栏自然语言处理
GraphRAG vs 传统 RAG：如何通过知识图谱提升 AI 检索能力
相比传统 RAG 仅能独立检索文本片段的局限性，GraphRAG通过构建实体关系图谱实现了信息间的连接，让 AI 能更完整地理解和检索复杂的关联信息，从而生成更准确和连贯的回答 问题背景: 想象有一本详细记录某人 现在我们想要总结这个人的所有成就 传统 RAG 的局限性: 只能获取有限数量(top-k)的相关文本片段 各个文本片段是独立检索的 LLM 需要自行推断这些片段之间的联系 可能会遗漏重要信息 GraphRAG
91110编辑于 2025-01-05 - 来自专栏新智元
闲来无事，我测了测国产大模型的RAG能力
上面这些场景所考验的，就是模型在RAG（Retrieval-Augmented Generation）检索增强生成方面的能力。 RAG这个概念，最早在2020年的一篇划时代论文中首次提出，它巧妙地融合了LLM和信息检索的能力。 百度搜索增强技术深度融合大模型能力和搜索系统，构建了「理解-检索-生成」的协同优化技术。 RAG不仅是技术，更是智能进化的里程碑 2024百度世界大会上，李彦宏曾表示，RAG已从百度特色逐渐成为了行业共识。 过去两年，我们见证了RAG，为整个大模型领域带去翻天覆地的变化。 RAG不仅是技术，更是智能进化的里程碑。
43900编辑于 2025-02-04 - 来自专栏IT大咖说
使用 Llama3 和 Ollama 改进了 RAG
◆介绍： 在本文中，我们将创建一个高级 RAG，它将根据作为管道输入给出的研究论文来回答用户查询。用于构建该管道的技术堆栈如下。 Ollama 嵌入模型 mxbai-embed-large Ollama 量化Llama-3 8b 模型 本地托管的 Qdrant 向量数据库。 在初始步骤（称为“步骤 1”）中，语言模型（具体以 GPT-3 为例）通过指令提示引导，根据原始查询生成假设文档。这一过程是针对论文中提出的问题精心定制的，尽管文件具有假设性，但仍确保了相关性。 输出： ◆结论： 总之，通过利用 Meta 的大型语言模型等尖端技术的力量Llama-3，以及 等复杂的方法HyDE，并利用 的功能Ollama，我们准备构建无与伦比的 RAG 管道。 log_from=adb4c5d3cf43a_1713747619961
1.7K10编辑于 2024-04-24 - 来自专栏多模态 / RAG / 知识图谱
RAG 系列 02 — Advanced RAG
配套阅读：《RAG系列01—NaiveRAG》《从NaiveRAG到AgenticRAG》引言：2025年3月，我参加了一家toBSaaS公司的技术评审会。那天的议题是"RAG系统下一阶段升级路线"。 AdvancedRAG的本质，是把RAG从"一锤子买卖"重构为"多阶段管道"。 一边写成功一边写失败→数据不一致增量同步延迟不一致→同一文档两边状态不同删除传播不同步→一边能搜到，一边搜不到没法做原子重建解法（按推荐度排序）：方案适合坑Elasticsearch8.x/OpenSearch单引擎双能力新项目首选 理由：单引擎一致性问题消失BM25是ES的看家本领向量能力虽然不顶尖，但够用运维生态成熟，招人容易坑2：中文BM25的tokenizer默认是错的ES默认tokenizer对中文是单字切分，召回质量极差 单query成本<$0.02结语：先做好"无聊的工程"，再谈"性感的架构"写到这里，必须重复第一篇的那句话：RAG工程师真正稀缺的能力，不是用最新模型，是知道什么时候该克制。
28410编辑于 2026-06-09 - 来自专栏多模态 / RAG / 知识图谱
RAG 系列 04 — Agentic RAG
配套阅读（按顺序）：《RAG系列01—NaiveRAG》《RAG系列02—AdvancedRAG》《RAG系列03—ModularRAG》《从NaiveRAG到AgenticRAG》引言：那个一周烧掉4 一、AgenticRAG到底是什么：一个被严重误解的概念1.1严格定义AgenticRAG=把检索行为本身变成Agent的工具，由一个（或多个）具备推理、规划、反思能力的LLMAgent在运行时决定：要不要检索 误解3：AgenticRAG是未来，Modular终将被替代❌错。95%的企业RAG场景，Modular永远是更合适的选择。 留四个观点作整个系列的结尾：观点一：每一代RAG都有它的"甜蜜区"，超出甜蜜区强行升级，反而是退步。 这个问题的答案，决定了你是RAG工程师还是RAG用户。
15800编辑于 2026-06-13 - 来自专栏多模态 / RAG / 知识图谱
RAG 系列 03 — Modular RAG
配套阅读：《RAG系列01—NaiveRAG》《RAG系列02—AdvancedRAG》《从NaiveRAG到AgenticRAG》引言：那个"if-else套了11层"的RAG项目2024年底，我帮一家金融科技公司做 RAG系统的codereview。 ModularRAG的本质，是把RAG从"线性管道"升级为"模块化图（Graph）"。 ≥7天确保稳定│├──►Phase2:ShadowRead│线上读v3，影子读v4│对比两个索引的结果差异│确认v4召回质量>=v3│├──►Phase3:Canary│5%流量切到v4│监控指标24- 留给读者的三个问题：你的AdvancedRAG里有没有一段"if-else套了超过3层"的代码？那很可能就是Modular该出场的信号。你能不能画出当前RAG系统的完整模块图？
24910编辑于 2026-06-10 - 来自专栏多模态 / RAG / 知识图谱
RAG 系列 01 — Naive RAG
系列说明：这是RAG工程化系列第一篇，目标是把四代RAG（NaiveAdvancedModular/Agentic）逐一拆透。每篇聚焦一种范式，讲它真正能做什么、做不到什么、工程上怎么落地。 一、NaiveRAG到底是什么：先把定义讲清楚，否则后面全是糊涂账打开任何一篇RAG教程，你会看到几乎一样的描述："RAG就是先检索再生成"。这种描述等于没说。 三、雷3：Embedding模型的"默认陷阱"打开任何一个国内RAG项目，最常见的第一行代码是：展开代码语言：PythonAI代码解释embedder=OpenAIEmbeddings()#默认text-embedding-ada 9.1应该停留在Naive的场景场景理由单一产品FAQ文档同质化高内部小工具（<50用户）投入产出不划算真正的POC（≤1个月）验证业务价值文档高度规整（如API文档）检索本身不是问题团队没有ML工程能力先跑通比跑好重要 观点三：RAG工程师真正稀缺的能力，不是用最新模型，是知道什么时候该克制。
44422编辑于 2026-05-23 - 来自专栏机器学习原理
rag
引言 传统的生成模型，例如GPT-3，尽管在生成流畅自然的文本方面表现出色，但在应对特定领域的深度问答时常常显得力不从心。 这是因为这些模型在生成答案时完全依赖训练数据和参数，并没有利用外部知识库的能力。与此相对，检索模型可以访问大规模的文档库，找到与查询相关的信息，但在生成流畅的语言响应方面则表现欠佳。 RAG技术的原理 RAG（检索增强生成）技术是一种将信息检索和自然语言生成结合起来的创新方法。其核心思想是通过利用大规模的外部知识库来增强生成模型的回答能力，从而提高生成文本的准确性和相关性。 RAG技术的优势与挑战 RAG技术在很多方面展示了其显著的优势，但它也面临着一些挑战。以下我们将详细探讨RAG技术的优势和挑战。 RAG技术 VS 纯生成模型（如GPT-3） 纯生成模型，如GPT-3，通常依赖于大量的数据和参数来生成文本。
67811编辑于 2024-06-27 TextIn文档树引擎，助力RAG知识库问答检索召回能力提升
今天，我们将介绍另一项重要指标，也是业内面对的一项普遍性难点：标题识别，以及它如何影响数据清洗与RAG系统开发。 TextIn团队研发了文档树引擎这一关键技术，针对性提升标题检测能力。物理版面分析技术支持对目标区块的检测与元素识别，并利用标题区块的高度（即字号）判断一级、二级、三级、......N级标题。 RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型，模型才能生成可靠有用的内容。 3、滑动窗口切分：创建一个重叠的滑动窗口，比如设置窗口大小为500，步长为100。 目前，TextIn文档解析工具已在RAG知识库问答中发挥重要功能，文档树引擎在年报、财报、行研报告等金融文件领域展现了较为明显的优势。
85310编辑于 2024-08-13- 来自专栏Datawhale专栏
RAG 作者：RAG 已死，RAG 万岁！
一个具有更大上下文窗口的新模型问世，社交媒体上便会充斥着“RAG 已死”的宣言。 的 Gemini 1.5，上下文窗口达 100 万 token 2025 年 3 月：模型上下文协议（Model Context Protocol）让你能直接与你的数据对话 (注：原文日期可能是笔误) 底线是：您同时需要长上下文 LLM 和 RAG。 但既然“RAG”这个术语似乎如此具有争议性，那我们不妨这样说： 我们不必非得称之为 RAG。 我们可以就叫它 检索 (retrieval)。 RAG 提供了相当于直接翻到相关页面的能力。处理更多 token 不仅更慢，而且极其低效，并且比使用 RAG 精准定位所需信息要昂贵得多。 RAG、微调和大型上下文窗口在 AI 中也是如此。 结论 我们不需要在 RAG 与长上下文窗口、微调或 MCP 之间做出选择。
82410编辑于 2025-04-24 - 来自专栏自然语言处理
RAG Logger：RAG日志记录工具
您听说过 RAG Logger 吗？ 它是一款专为检索增强生成 (RAG) 应用程序设计的开源日志记录工具！ 据说它可以作为 LangSmith 的轻量级替代方案，满足 RAG 特定的日志记录需求。 查询、搜索结果、LLM 交互和性能指标可以以 JSON 格式记录。 特点 通过查询跟踪详细了解用户问题！ RAG Logger 为 RAG 应用程序的性能监控和调试提供了强大的支持，对吗？ 特别推荐给那些想要提高应用程序开发效率的人。 请参阅此处的详细信息： RAG Logger GitHub 仓库
37510编辑于 2025-01-07 - 来自专栏全栈开发工程师
【RAG】001-RAG概述
RAG 通过在生成回答之前，先从知识库中检索相关信息，然后将检索到的信息作为上下文提供给语言模型，从而实现更准确、更可靠的响应。这种方法既保留了 LLM 强大的理解和生成能力，又克服了其知识局限性。 在向量数据库中搜索相似内容 获取最相关的文本片段 生成过程： 将检索到的相关内容与用户问题组合 构建合适的提示词（Prompt） 通过 LLM 生成最终答案 3、RAG 的应用场景 RAG 技术在多个领域都有广泛应用 3、选择建议 3.1 适合使用 RAG 的场景 需要频繁更新知识的应用 对答案准确性要求高的场景 预算有限但需求明确的项目 需要透明解释的业务场景 3.2 适合使用 Fine-tuning 的场景 任务明确且相对固定的应用 对响应速度要求高的场景 有充足的训练资源和专业团队 需要深度定制模型行为的项目 3.3 混合使用策略 在实际应用中，可以考虑将两种方法结合使用： 使用 Fine-tuning 优化模型的基础能力 使用 Prompt 构建： 设计提示模板 整合检索内容 添加约束条件 LLM 调用： 发送完整 Prompt 控制生成参数 处理模型输出 后处理优化： 格式化输出 添加引用来源 质量检查 3、
86410编辑于 2025-03-25 如何用RAG增强的动态能力与大模型结合打造企业AI产品？
核心要点RAG vs Few Shots：动态能力对比，RAG如何实现实时知识更新RAG关键指标解析：精确率、召回率、F1分数、MRR的对比分析在雨林一人公司的AI产品开发过程中，nine遇到了一个关键问题 （已发布，可查看历史文章）如何用RAG增强的动态能力与大模型结合打造企业AI产品？ 知识覆盖有限： 3-5个示例无法覆盖复杂的业务场景，对边缘案例的处理能力差。nine在dify平台测试发现，Few Shots对复杂业务场景的处理效果不够理想。 RAG技术的动态优势RAG技术通过外部知识库实现了真正的动态能力：实时知识更新： 知识库可以随时更新，新政策、新规则立即生效，无需重新训练模型。 技术对比表特性Few Shots学习RAG技术知识更新静态，需重新设计示例动态，实时更新知识库知识覆盖有限（3-5个示例）全面（海量知识库）可解释性无可追溯决策依据准确率有限（复杂场景）显著提升（企业级应用
34210编辑于 2025-09-21- 来自专栏coder
什么是 RAG，为什么要用 RAG？
RAG 引用信息来源是用户可以核实答案，因此其透明透非常高，这增强了人们对模型输出结果的信任。 透过获取与特定领域数据，RAG能够为不同领域提供专业的知识支持，定制能力非常高。 由于 RAG 不需更新模型参数，因此在处理大规模数据集时，经济效率方面更具优势。 不过虽然RAG有许多优势在，但这3种方法并不是互斥的，反而是相辅相成的。 结合 RAG 和 Fine tuning ，甚至 Promt Enginerring 可以让模型能力的层次性得增强。 这种协同作用特别在特定情境下显得重要，能够将模型的效能推至最佳。 这种限制可能会阻碍模型在真实世界中的表现，因为它可能过度适应训练集中的特定示例，从而降低了其在不同上下文中泛化的能力。 这种方法在减少过度适应和加强模型的泛化能力方面至关重要。 三.
80210编辑于 2024-09-06 - 来自专栏Reinvent Data Science
RAG 修炼手册｜如何评估 RAG 应用？
当以黑盒方式来评估 RAG 应用时，我们看不到 RAG 应用的内部，只能从输入给 RAG 应用的信息和它返回的信息来评估 RAG 的效果。 有的 RAG 具备多路召回能力，可能还会有 基于词频的搜索方法（term frequency search） 算法，更换和升级这些关键组件也能为 RAG 应用带来更好的效果。 有的 RAG 有多路召回能力，可能还会有 term frequency search 算法。 很显然，测试这些关键组件也能体现出这个 RAG pipeline 在某一步的能力上的效果，更换和升级这些关键组件也能为 RAG 应用带来更好的性能。 下面我们分别介绍如何评估这 3 个典型的关键组件： 怎么评估 embedding model 和 rerank model Embedding model 和 rerank model 一同完成相关文档的检索功能
1.6K12编辑于 2024-04-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号