首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大模型技术应用

    RAG 技术综述

    技术上,它将信息检索与微调、强化学习等技术相结合。从流程上看,RAG 的各个模块被精心设计和调配,形成了多种RAG模式。 但模块化 RAG 并非一蹴而就;它是在前两个范式基础上逐步演化而来的。 发展前景 我们可以预见大模型和RAG技术将会共同进步,并可能融合发展。大模型可能会内置更加高效的检索机制,而RAG技术也会不断优化,使得检索过程更加精准、生成过程更加自然。 2、多模态扩展 RAG技术和概念正在不断进化,它们将如何扩展到图像、音频、视频或代码等其他数据形式? 一方面,这可以增强单一模态内的任务性能;另一方面,它可以通过 RAG 的思想来实现多模态数据的融合。 3RAG生态系统 RAG 的应用范围已经不再局限于问答系统,其影响力正在向更广泛的领域扩散。 目前,包括推荐系统、信息提取和报告生成在内的多种任务已经开始受益于 RAG 技术的应用。 同时,RAG 技术栈也在迅速壮大。

    2.1K11编辑于 2024-02-01
  • 来自专栏有文化的技术人

    静态 RAG 与动态 RAG 技术全解析

    ❝本文系统介绍静态 RAG 与动态 RAG 的核心原理、技术对比、主流实现方案及代码实践,适合技术选型和深入学习参考。 ❞ 目录 一、RAG 技术概述 二、静态 RAG 2.1 核心原理 2.2 优化技术 2.3 主流实践方案 2.4 代码示例 三、动态 RAG 3.1 核心原理 3.2 主流实现方案 四、Self-RAG 7.1 静态 vs 动态 RAG 7.2 Self-RAG vs CRAG 7.3 选型建议 八、参考资源 一、RAG 技术概述 RAG(Retrieval-Augmented Generation, 虽然是静态流程,但可以通过多种技术优化检索和生成质量: 技术 描述 适用场景 「HyDE」 先让 LLM 生成假设答案,用假设答案去检索 问题表述模糊时 「Query Expansion」 扩展用户查询为多个变体 ] # 边定义 } } ) # 列出已有 Agent agents = rag.list_agents() 七、技术对比与选型建议 7.1 静态 vs 动态 RAG 维度

    14910编辑于 2026-04-09
  • 来自专栏深度学习与python

    Deepseek V3R1 技术内核 及 RAG 技术前沿进展

    DeepSeek-V3 技术报告 (2024 年 12 月) DeepSeek-V3 是一个大规模语言模型,其技术报告在 2024 年 12 月发布。该模型具有以下特点和创新。 技术集成 DeepSeek-V3 集成了多种先进技术,包括: MoE:通过多个专家网络协同工作,提高模型的多样性和效率。 MLA:通过优化 KV cache 的使用,减少内存占用,提高推理效率。 RAG 从提示工程出发,逐渐发展出标准 RAG、高级 RAG 和模块化 RAG,甚至可以进行协作式微调,以增强大语言模型的知识内化能力。 RAG 技术框架本身并不复杂,但流程其实相对直观。 然而,尽管流程本身并不复杂,但在实际操作中,RAG 涉及的细节和技术内核却相当丰富,这也是为什么 RAG 上手容易,但优化却很难。 未来,我们有理由相信,DeepSeek 和 RAG 将继续引领 AI 技术的发展,为人类带来更多的可能性。

    52410编辑于 2025-02-27
  • 来自专栏JadePeng的技术博客

    RAG 范式、技术和趋势

    Trends》 ,RAG 范式、技术和趋势。 随着RAG技术的进一步发展和进化,产生了模块化RAG的概念。在结构上,它更自由、更灵活,引入了更具体的功能模块,如查询搜索引擎和多个答案的融合。在技术上,它将检索与微调、强化学习和其他技术相结合。 技术发展树 RAG 关键技术 数据索引优化 核心是chunk的策略: Small-2-Big 在sentense级别做embedding Slidingwindow 滑动窗口,让chunk覆盖整个文本 RAG 技术栈与工业界实践 当前有LangChain、LlamaIndex、AutoGen等流行的开发框架,可以方便开发RAG应用。 工业界也有很多RAG应用。 总结与展望 RAG 技术框架 RAG 的三个研究热点 RAG 的挑战 长上下文 与FT的协同 如何应用好LLM,充分挖掘利用LLM 提升鲁棒性,比如如何处理错误的召回内容,如何过滤和验证召回内容 RAG

    2.1K11编辑于 2024-03-16
  • 来自专栏深度学习与python

    解码RAG:智谱 RAG 技术的探索与实践

    所以在同样精度的情况下,利用 RAG 技术可以大大地降低整个成本。 智谱 -RAG 解决方案 技术方案 下图是技术方案的全景图 整个技术方案包括三个层面:文件上传、用户提问和答案输出。 启动项目时,一个城市大约需要 3,000 个 FAQ,运营过程中会增加至 6,000 个,导致高昂的维护成本。 知识复用性差。 针对同样的场景问题,智谱通过“ChatGLM 大模型 +RAG”的方案来解决。整个成本和效果可以有大幅提升如,下图所示: 此项目面临如下几个技术挑战: Embedding 第一个挑战是知识召回。 结 尾 展望未来,RAG 技术将会在更多领域得到应用,并与其它 AI 技术相结合,例如多模态交互、个性化推荐、用户长期记忆等。 智谱 AI 将继续致力于 RAG 技术的探索与实践,为企业在更多的领域落地大模型应用,提供更加智能、高效的服务体验。

    1.2K22编辑于 2024-06-27
  • 来自专栏CoderJia的工作笔记

    RAG_Techniques:深入解析GitHub热门RAG技术宝库

    本文将带您深入探索GitHub上备受瞩目的RAG_Techniques项目,这是目前最全面的RAG技术集锦之一,为研究人员和实践者提供了丰富的高级技术实现和示例。 与传统的纯生成模型相比,RAG 系统可以: 1、提供更准确的信息:通过检索实际文档而非仅依赖模型参数中的知识 2、减少幻觉问题:生成的内容有明确的信息来源,降低编造事实的风险 3、保持知识更新:可以访问最新数据 分类清晰的技术体系 RAG_Techniques 项目将 33 种技术分为几大类别,使开发者能够根据需求快速定位: 基础技术(Foundational) - 包括基本 RAG、CSV 文件集成的 RAG Corrective RAG(纠正式RAG) - 一种复杂的 RAG 方法,动态评估和纠正检索过程,结合向量数据库、Web搜索和语言模型,以提供高度准确和上下文感知的响应。 3. 2、导航到感兴趣的技术目录: cd all_rag_techniques/technique-name 3、按照每个技术目录中的详细实现指南进行操作。

    1.1K21编辑于 2025-05-07
  • 来自专栏架构之巅

    大模型相关技术-初识RAG

    java程序员肯定就会想到写个filter或者intercepter,RAG就是在做类似的事情,只不过流程更加复杂。 RAG是什么 检索增强生成(RAG)是对大型语言模型输出进行优化的方法,使其能够在生成响应之前引用训练数据来源之外的权威知识库。 为什么需要RAG 大模型在没有答案的情况下提供幻象数据,也就是胡说八道。 当用户需要特定的当前响应时,提供过时或通用的信息,模型提供的最新信息为训练模型时的数据。 敏感词、停止词过滤 RAG的基石:向量数据库 复习一下向量的概念:在几何中一个同时具有大小和方向的对象就叫向量,还有一个定义大家可能更加熟悉,“既有大小,又有方向的量叫做向量”。 - 哔哩哔哩 (bilibili.com) 我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!

    71241编辑于 2024-04-28
  • 来自专栏深度学习与python

    RAG 技术真的“烂大街”了吗?

    在这一领域中, RAG 技术将传统信息检索技术与大语言模型技术相结合,为知识理解、知识获取提供了全新的解决方案。然而,尽管 RAG 在很多任务上表现出色,其在深度应用上仍面临诸多挑战。 总结来说,我认为 RAG 技术的关键还是要有爆款产品,而从事 RAG 技术的人的关键是解决其基本问题,让 RAG 技术在这些爆款产品中可用,满足用户的期望体验。 RAG 技术未来展望 郭瑞杰: 前面 3 个话题主要讨论了 RAG 技术的现状、应用情况、高级 RAG 技术解法等,最后,咱们聊聊 RAG 技术未来的发展方向,有哪些新兴的技术和方法可能会给 RAG RAG 技术和思想能否应用于图片、音频、视频、3D 模型和代码等多模态情况,我认为这非常值得期待。我们可以检索文本、图片、视频,进行图文搜索,甚至检索视频片段。 感谢 3 位老师的精彩分享,期待 3 位老师在 AICon 现场的发挥。

    76610编辑于 2024-07-24
  • 来自专栏大语言模型

    RAG到DeepResearch技术路线实践

    但是在过去不到3年,RAG 在AI技术中多次“死而复生”: 一会儿被说要被 GraphRAG 替代, 一会儿被认为大模型底座已经覆盖RAG功能; 一会儿长上下文兴起,RAG落幕; 一会儿上下文工程成新热点 同时也能明显感受到仅仅靠RAG技术已经完全满足不了用户的需求了,本文就介绍 从RAG到DeepResearch,我们的技术实践之旅。 话不多说,先上技术路线图: 1. (关于上下文工程和RAG的关系后面单开一篇~) 对于通用知识,大模型底座已经具备。但要让它懂“你的业务”,能回答“你的问题”,就必须构建属于"你的知识库",然后上RAG技术RAG就是输入优化技术RAG相关技术我在之前分享的文档中其实已经介绍多次,本文就不做过多技术介绍。 当然,这套机制并不局限于技术领域,任务类型也可以根据业务需求自由扩展。 并且我们可以结合我们的RAG技术。直接和文章进行问答。 3.

    66396编辑于 2025-12-05
  • 来自专栏TechLead

    RAG技术架构与实现原理

    本文详细解析了RAG技术,包括其定义、作用、技术架构和检索模块的实现与优化,全面展示了RAG在自然语言处理中的重要性和广泛应用前景。 关注TechLead,复旦AI博士,分享AI领域全维度知识与研究。 一、RAG的定义和作用 RAG的定义 Retrieval-Augmented Generation(RAG)是一种结合了检索和生成技术的自然语言处理(NLP)模型。 RAG模型的核心思想是通过检索和生成的有机结合,弥补生成模型(如GPT-3、BERT等)在处理知识密集型任务时的不足。传统的生成模型在面对复杂问题时,常常因缺乏足够的知识而生成出错误或无关的回答。 二、RAG技术架构 RAG模型整体架构 RAG(Retrieval-Augmented Generation)模型的技术架构包括两个主要部分:检索模块(Retriever)和生成模块(Generator 技术架构图 以下是RAG模型的技术架构图,展示了检索模块和生成模块的工作流程: 输入查询 │ ▼ 检索模块 │ ├──> 文档1 │ ├──> 文档2

    9.5K10编辑于 2024-07-15
  • 来自专栏Reinvent Data Science

    RAG 修炼手册|一文讲透 RAG 背后的技术

    今天我们继续剖析 RAG,将为大家详细介绍 RAG 背后的例如 Embedding、Transformer、BERT、LLM 等技术的发展历程和基本原理,以及它们是如何应用的。 01. Embedding 是将离散的非结构化数据转换为连续的向量表示的技术。 从 GPT-1 到 GPT-3,OpenAI 的语言生成模型在数据规模、模型结构和训练技术上都有了重大的改进和提升,从而实现了更高质量、更具逻辑性和一致性的文本生成能力。 好在,我们可以使用 Retrieval Augmented Generation (RAG) 技术解决产生幻觉,和无法实时更新知识这两点不足。 RAG 是结合向量数据库和 LLM 的一项技术应用,关于 RAG 的介绍以及优化技巧,可以参考其它的文章。 03.

    2.5K33编辑于 2024-04-11
  • 来自专栏windealli

    LLM RAG 技术剖析与演进

    什么是RAG RAG(Retrieval-Augmented Generation,检索增强生成) 是一种将大语言模型(LLM)与模型外知识库检索相结合的技术架构。 关键技术: 混合检索:结合向量检索(如 rank_model_type="bge" 的 BGE 模型)与关键词检索(如 search_engine="sogou"),提升召回多样性。 3. Modular RAG(模块化 RAG) 核心思想:将 RAG 流程拆解为独立模块,支持灵活替换与组合。 优势: 系统可扩展性强,易于迭代优化。 4. Graph RAG(图增强 RAG) 核心改进:引入图结构(如知识图谱)增强知识表示与推理能力。 关键技术: 图化知识库:将文档中的实体、关系构建为图结构,支持多跳推理。 Agentic RAG(智能体化 RAG) 核心思想:引入自主智能体(Agent)动态控制 RAG 流程。 关键技术: 调用 search_engine="sogou" 或向量检索。

    1.3K10编辑于 2025-03-12
  • 来自专栏老张的求知思考世界

    RAG技术的三大范式和技术演进

    前面的文章中,为大家介绍过大模型领域的核心技术RAG(Retrieval-Augmented Generation),即检索增强生成。 从2022年底ChatGPT横空出世以来,大模型的信息幻觉(生成错误信息)、知识过时、推理过程不透明等问题,一直困扰着业内各方技术人员,直至RAG技术出现,才算缓解了这个难题。 》,对RAG的三大范式演进(基础RAG、高级RAG、模块化RAG)和检索、生成与增强三大核心组件的关键技术进行了深入探讨。 一、RAG的三大技术范式 1、基础RAG(Naive RAG) 流程:索引(Indexing)→ 检索(Retrieval)→ 生成(Generation)。 3、模块化RAG(Modular RAG) 特点:模块化设计支持动态组合。 搜索模块:支持多源检索(数据库、知识图谱、API)。 记忆模块:缓存历史检索结果以加速响应。

    1K11编辑于 2025-05-23
  • 来自专栏人工智能

    检索增强生成(RAG技术详解

    RAG技术概述 什么是RAG RAG是一种结合信息检索和文本生成的AI架构,工作流程如下: 用户查询 → 检索相关文档 → 生成增强回答 → 返回结果 ↓ ['retrieved_docs'] } # ==================== 高级RAG技术 ==================== class HybridRAG """, """ 计算机视觉是使计算机能够理解和解释视觉信息的技术。 应用包括人脸识别、物体检测、图像分割和自动驾驶中的视觉感知。 ") # RAG技术对比表 print("\n" + "="*70) print("RAG技术对比") print("="*70) comparison_table 随着向量数据库、嵌入模型和LLM的不断发展,RAG将成为知识密集型AI应用的核心架构。 掌握RAG技术,开发者可以构建更准确、可靠、可解释的AI应用,满足企业级应用的需求。

    1.1K10编辑于 2026-01-21
  • 来自专栏老张的求知思考世界

    基于LangChain实现RAG技术原理

    我们常见的各种ChatBot(即聊天机器人),就是基于这种技术原理实现的。与之相关的技术框架,常见的有如下几种: LangChain:开源框架,提供了丰富的组件和工具,用于构建RAG系统。 LLama-Index:专为LLama模型设计的RAG框架,适用于特定场景下的应用。 RAGFlow:一个较新的RAG框架,注重简洁性和效率,提供预设组件和工作流。 Haystack:一个常用的开源框架,支持向量存储和编排层,是RAG系统的重要组成部分。 GraphRAG:专注于大模型驱动的RAG技术,通过优化向量库构建与推理性能来提升RAG系统的效率。 文本向量化:将切割后的文本小块,通过EMB(数据拆分和映射)技术转换为算法可以处理的向量,并存入向量数据库。 问句向量化:将用户的提问内容进行向量化处理(切割+拆分+映射)。 按照技术领域的通用测试原则,需要构建评测集(即IT技术领域的测试用例),对其展开评测。 评测集需要满足如下几点要求: 可以理解用户提问内容。 可以匹配正确的知识库内容。

    55500编辑于 2025-05-17
  • RAG—Chunking策略实战|得物技术

    一、背 景在 RAG 系统中,即便采用性能卓越的 LLM 并反复打磨 Prompt,问答仍可能出现上下文缺失、事实性错误或拼接不连贯等问题。 某种意义上,分块质量几乎决定了RAG的性能上限——它决定知识是以连贯的上下文呈现,还是退化为无法拼合的碎片。 目标:为RAG检索创建高内聚、可追溯的块。 从一次启动失败深入剖析:Spring循环依赖的真相|得物技术3. Apex AI辅助编码助手的设计和实践|得物技术4. 用好 TTL Agent 不踩雷:避开内存泄露与CPU 100%两大核心坑|得物技术文 /昆岚关注得物技术,每周更新技术干货要是觉得文章对你有帮助的话,欢迎评论转发点赞~未经得物技术许可严禁转载,否则依法追究法律责任

    1.1K10编辑于 2025-10-30
  • 来自专栏AIGC

    【AIGC】检索增强技术深度剖析(RAG

    在这种情况下,检索增强生成 (RAG) 开辟了新的视角。RAG 允许将 AI 模型与公司的特定内部数据集成,不仅可以进行处理,还可以对这些知识进行智能解释和利用。在本文中,我们将探讨如何实现这一点。 一、检索增强定义RAG 是一种技术,它允许通过从大型文档数据库中实时检索信息来扩展预训练语言模型的知识。 这是它的样子:在这种情况下,检索增强生成 (RAG) 就派上用场了。我们可以通过向提示添加上下文信息来简单地扩展机器学习模型的知识。从理论上讲,它如下所示:从理论上讲,它会起作用。 小编是一名热爱人工智能的专栏作者,致力于分享人工智能领域的最新知识、技术和趋势。这里,你将能够了解到人工智能的最新应用和创新,探讨人工智能对未来社会的影响,以及探索人工智能背后的科学原理和技术实现。 我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!

    1.1K10编辑于 2024-05-11
  • 来自专栏NLP/KG

    探索检索增强生成(RAG技术的无限可能:Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成

    探索检索增强生成(RAG技术的无限可能:Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成 由于 RAG 的整体思路是首先将文本切分成不同的组块,然后存储到向量数据库中。 其技术架构图大致如下 [4]: 图 3 中 query 进行 KG 增强是通过 NL2Cypher 模块实现的。根据我的实践,我们可用更简单的[图采样技术]来进行 KG 上下文增强。 2)多模态 RAG(文本 + 表格 + 图片) 对多模态 RAG 而言,有三种技术路线 [10],见下图: 如图 7 所示,对多模态 RAG 而言有三种技术路线,如下我们做个简要说明: 选项 1:对文本和表格生成 3)私有化多模态 RAG(文本 + 表格 + 图片) 如果数据安全是重要考量,那就需要把 RAG 流水线进行本地部署。 3. Self-RAG详解 一直在想两个问题:一是每次 query 时,通过向量库召回上下文是否必要。

    5.2K45编辑于 2024-01-10
  • 来自专栏ceshiren0001

    RAG技术工作流程详细指南

    检索增强生成(Retrieval-Augmented Generation,简称RAG)是人工智能领域的一项关键技术。它将信息检索与大型语言模型相结合,大大提升了生成内容的准确性和及时性。 本文将深入解析RAG的工作流程及其核心技术RAG系统架构核心组件RAG系统包含三个关键模块:检索器(Retriever):从知识库中检索相关文档编码器(Encoder):将查询和文档转换为向量表示生成器(Generator):基于检索结果生成最终答案工作流程详解第一阶段 上下文长度限制解决方案:实施摘要和关键信息提取3. 生成内容偏差解决方案:添加验证和事实核查机制最佳实践1. 数据质量优先确保知识库内容准确和最新定期更新和维护向量索引2. 迭代优化持续收集用户反馈A/B测试不同的配置参数3. 监控评估建立评估指标体系监控系统性能和效果

    68211编辑于 2025-08-28
  • 来自专栏架构驿站

    一文读懂 Agentic RAG 技术点滴

    3、上下文感知 系统会考虑当前情境、历史交互和用户偏好,做出明智决策并采取适当行动。例如,根据用户过往查询调整检索优先级。 虽然智能代理(Agents)可以被整合进 RAG 流水线的不同阶段,但 Agentic RAG 通常特指在检索组件中引入代理技术的实现。 3、生成模块(Generation Component) 基于检索到的信息,LLM 生成响应。 3、根据查询上下文动态检索工具 根据查询时的上下文,从 RAG 系统动态检索相关工具,例如向量索引(Vector Index)。这种工具检索能力使代理能够根据每个查询的具体需求调整行动策略。 今天的解析就到这里,欲了解更多关于 Agentic RAG 相关技术的深入剖析,最佳实践以及相关技术前沿,敬请关注我们的微信公众号:架构驿站,获取更多独家技术洞察!

    2.4K01编辑于 2025-04-04
领券