首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AgenticAI

    实战微软新一代RAG:GraphRAG强大的全局理解能力,碾压朴素RAG

    微软近日开源了新一代RAG框架GraphRAG[1],以解决当前RAG在大型语料库上全局理解问题。 当前RAG主要聚焦于局部检索能力,即根据查询语句在向量库中匹配部分知识,然后通过大型语言模型合成这些检索到的信息,生成一个自然流畅的回答。 下一篇,我们将使用LlamaIndex测试同样问题进行对比全局理解能力。 1. **这类问题需要查询聚焦摘要(Query focused summary)而不是像我们上述RAG系统那样显式检索,现有的QFS方法无法扩展到RAG系统索引的文本量。 王林对“仙人”的概念着迷,反映了他对于超自然能力和永生的渴望。他的故事中还包含了与Heng Yue Faction青年的互动,这些交流影响了社区的动态和选拔过程。

    1.5K10编辑于 2025-03-18
  • 来自专栏AI 大数据

    RAG技术:通过向量检索增强模型理解与生成能力

    摘要本文介绍了RAG(检索增强生成)技术的原理与应用,特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力RAG技术通过结合向量检索与生成模型,有效解决了这些问题,提高了模型对外部知识的理解和生成能力RAG技术原理RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。 技术系统架构图优化与改进为了提升RAG技术的效果,可以持续优化生成模型的训练数据和参数配置,以提高其对自然语言的理解能力和语义分析准确性。 Q2:如何评估RAG技术的效果?A2:可以通过对比实验来评估RAG技术的效果。例如,将RAG技术与传统的基于关键词检索的方法进行比较,观察在相同查询条件下,RAG技术是否能够生成更准确、更相关的回答。 总结本文介绍了RAG技术的原理与应用,特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力

    64510编辑于 2025-01-28
  • 来自专栏RAG

    RAG系列:#6 一文搞懂RAG存储技术:文件、元数据、切片、向量

    RAG核心工具大全:7大解析工具+向量模型+数据库+检索排序GraphRAG开源生态全景:6大主流开源项目,微软/蚂蚁/港大项目同台PKRAG系列:#5RAG中的11种分块策略检索增强生成(RAG)技术已成为解决大语言模型 从技术选型上,RAG应用全阶段的存储方案分云存储与私有化存储两条路线。云存储的核心优势是弹性扩容、低运维成本和全球分发能力;私有化存储则以数据安全、合规与可控性见长。 RAG系统的数据源起点,其完整性、读取性能和持久化能力是后续切片、向量化、检索等所有环节的前提。 系统把用户问题翻译成Cypher查询,按公司、国家、情感等条件沿图路径遍历,让RAG的逻辑推理能力大大提升。如果不想把数据搬到Neo4j,也可以用PuppyGraph。 支撑其高效近似近邻检索能力,是RAG系统性能优化的核心技术点。

    22910编辑于 2026-06-03
  • 来自专栏Windows开发

    提升编程能力6条建议

    每位程序员都希望自己的能力变得更强,那有什么方式,需要作出什么改变来实现呢?接下来,我将分享关于提升编程能力6条建议。 同样地,学习优秀开源项目的设计、代码,也是提升编程能力非常有效的方法。优秀开源项目的编码人员,编码经验丰富,他们写的代码一定有许多值得学习的地方,比如:代码规范、逻辑清晰、巧用设计模式。 尝试给优秀开源项目贡献代码让你变得更优秀 给优秀开源项目贡献代码前,首先要学习代码贡献的要求(会涉及一些技术术语、开发规范),这也是一个优秀团队对一位开发人员的要求;然后提交代码,要注明清楚便于对方理解接受,这是对表达能力的要求 首先沉淀总结的过程,就是一个思考、更系统学习的过程;然后分享给别人,别人通过评论或其它形式给予反馈,可能是一些错误或补充,都对自己的能力提升很有帮助。

    1.2K20发布于 2021-05-24
  • 来自专栏DeepHub IMBA

    使用知识图谱提高RAG能力,减少大模型幻觉

    所以下面我们使用一个简单的例子来介绍如何使用知识图谱构建RAG。 对于RAG,知识图谱是一个非常好的应用方向。 作者:Plaban Nayak 喜欢就关注一下吧: 点个 在看 你最好看!

    1.9K11编辑于 2024-01-08
  • 来自专栏自然语言处理

    GraphRAG vs 传统 RAG:如何通过知识图谱提升 AI 检索能力

    相比传统 RAG 仅能独立检索文本片段的局限性,GraphRAG通过构建实体关系图谱实现了信息间的连接,让 AI 能更完整地理解和检索复杂的关联信息,从而生成更准确和连贯的回答 问题背景: 想象有一本详细记录某人 现在我们想要总结这个人的所有成就 传统 RAG 的局限性: 只能获取有限数量(top-k)的相关文本片段 各个文本片段是独立检索的 LLM 需要自行推断这些片段之间的联系 可能会遗漏重要信息 GraphRAG

    91310编辑于 2025-01-05
  • 来自专栏新智元

    闲来无事,我测了测国产大模型的RAG能力

    上面这些场景所考验的,就是模型在RAG(Retrieval-Augmented Generation)检索增强生成方面的能力RAG这个概念,最早在2020年的一篇划时代论文中首次提出,它巧妙地融合了LLM和信息检索的能力。 百度搜索增强技术深度融合大模型能力和搜索系统,构建了「理解-检索-生成」的协同优化技术。 RAG不仅是技术,更是智能进化的里程碑 2024百度世界大会上,李彦宏曾表示,RAG已从百度特色逐渐成为了行业共识。 过去两年,我们见证了RAG,为整个大模型领域带去翻天覆地的变化。 RAG不仅是技术,更是智能进化的里程碑。

    43900编辑于 2025-02-04
  • 来自专栏多模态 / RAG / 知识图谱

    RAG 系列 02 — Advanced RAG

    配套阅读:《RAG系列01—NaiveRAG》《从NaiveRAG到AgenticRAG》引言:2025年3月,我参加了一家toBSaaS公司的技术评审会。那天的议题是"RAG系统下一阶段升级路线"。 他列了一堆论据:多步推理、自我反思、工具调用、AutoGPT-like架构……PPT最后一页写着预算:每月LLM成本+20万,团队扩招6人。 一边写成功一边写失败→数据不一致增量同步延迟不一致→同一文档两边状态不同删除传播不同步→一边能搜到,一边搜不到没法做原子重建解法(按推荐度排序):方案适合坑Elasticsearch8.x/OpenSearch单引擎双能力新项目首选 理由:单引擎一致性问题消失BM25是ES的看家本领向量能力虽然不顶尖,但够用运维生态成熟,招人容易坑2:中文BM25的tokenizer默认是错的ES默认tokenizer对中文是单字切分,召回质量极差 工程师真正稀缺的能力,不是用最新模型,是知道什么时候该克制。

    28710编辑于 2026-06-09
  • 来自专栏机器学习原理

    rag

    这是因为这些模型在生成答案时完全依赖训练数据和参数,并没有利用外部知识库的能力。与此相对,检索模型可以访问大规模的文档库,找到与查询相关的信息,但在生成流畅的语言响应方面则表现欠佳。 RAG技术的原理 RAG(检索增强生成)技术是一种将信息检索和自然语言生成结合起来的创新方法。其核心思想是通过利用大规模的外部知识库来增强生成模型的回答能力,从而提高生成文本的准确性和相关性。 RAG工作流程 RAG的工作流程可以分为以下几个步骤: 用户查询:用户提出一个查询,系统首先会将这个查询传递给检索模型。 RAG技术的应用场景 RAG技术在众多实际应用场景中显示出其独特的优势,这是其他单一技术难以比拟的。下面我们详细探讨RAG技术的几个主要应用场景。 RAG技术的优势与挑战 RAG技术在很多方面展示了其显著的优势,但它也面临着一些挑战。以下我们将详细探讨RAG技术的优势和挑战。

    67811编辑于 2024-06-27
  • TextIn文档树引擎,助力RAG知识库问答检索召回能力提升

    今天,我们将介绍另一项重要指标,也是业内面对的一项普遍性难点:标题识别,以及它如何影响数据清洗与RAG系统开发。 TextIn团队研发了文档树引擎这一关键技术,针对性提升标题检测能力。物理版面分析技术支持对目标区块的检测与元素识别,并利用标题区块的高度(即字号)判断一级、二级、三级、......N级标题。 以RAG(Retrieval-Augmented Generation)这一主要场景为例,在系统开发过程中,Chunking(分块)对整体性能有着显著的影响。 RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型,模型才能生成可靠有用的内容。 目前,TextIn文档解析工具已在RAG知识库问答中发挥重要功能,文档树引擎在年报、财报、行研报告等金融文件领域展现了较为明显的优势。

    85510编辑于 2024-08-13
  • 来自专栏DeepHub IMBA

    Langchain中改进RAG能力的3种常用的扩展查询方法

    有多种方法可以提高检索增强生成(RAG)的能力,其中一种方法称为查询扩展。 StrOutputParser import numpy as np cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6- sorted(final_queries, key=lambda x: x["score"], reverse=True) first_five_elements = sorted_list[:6] create_documents则根据6个问题(上面的5个生成问题和1个原始查询)检索24个相关文档。这24个相关文档可能重复,所以需要进行去重。 总结 以上就是最常用的3种改进RAG能力扩展查询方法。当你在使用RAG时,并且没有得到正确或详细的答案,可以使用上述查询扩展方法来解决这些问题。希望所有这些技术可以用于你的下一个项目。

    1.4K10编辑于 2024-01-31
  • 来自专栏Datawhale专栏

    RAG 作者:RAG 已死,RAG 万岁!

    一个具有更大上下文窗口的新模型问世,社交媒体上便会充斥着“RAG 已死”的宣言。 RAG 的初衷 五年前,我在 Meta 基础人工智能研究中心(FAIR,前身为 Facebook 人工智能研究中心)的团队提出了 RAG(Retrieval-Augmented Generation,检索增强生成 底线是:您同时需要长上下文 LLM 和 RAG。 但既然“RAG”这个术语似乎如此具有争议性,那我们不妨这样说: 我们不必非得称之为 RAG。 我们可以就叫它 检索 (retrieval)。 RAG 提供了相当于直接翻到相关页面的能力。处理更多 token 不仅更慢,而且极其低效,并且比使用 RAG 精准定位所需信息要昂贵得多。 RAG、微调和大型上下文窗口在 AI 中也是如此。 结论 我们不需要在 RAG 与长上下文窗口、微调或 MCP 之间做出选择。

    82610编辑于 2025-04-24
  • 来自专栏全栈开发工程师

    RAG】001-RAG概述

    RAG】001-RAG概述 0、整体思维导图 下面的知识是基于一个视频教程结合 AI 生成的笔记,我也看了一遍,有了一些印象,但这种印象很快就会消失,知识也就消失了,为了使得知识在我的大脑中停留更长的时间 补充1:RAG 基本逻辑 补充2:RAG 知识库基本逻辑 一、RAG 介绍 1、LLM 的主要局限性 大语言模型(LLM)尽管功能强大,但仍存在以下明显的局限性: 时效性问题:模型的知识在预训练后就固定了 概述 1、RAG 的概念 RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合了检索和生成技术的文本处理方法,主要用于提高语言模型的输出质量。 RAG 通过在生成回答之前,先从知识库中检索相关信息,然后将检索到的信息作为上下文提供给语言模型,从而实现更准确、更可靠的响应。这种方法既保留了 LLM 强大的理解和生成能力,又克服了其知识局限性。 对响应速度要求高的场景 有充足的训练资源和专业团队 需要深度定制模型行为的项目 3.3 混合使用策略 在实际应用中,可以考虑将两种方法结合使用: 使用 Fine-tuning 优化模型的基础能力 使用

    86410编辑于 2025-03-25
  • 来自专栏我的安全视界观

    【应急能力提升6】应急响应专题总结会

    01 — 总结会目的 除了最初的应急响应实战能力提升目的外,组织各组人员参加总结会进行汇报、讨论、听点评,还会带来一些额外的好处: 锻炼新人演讲能力:每个专题会上,要求每个小组进行讲解,机会优先给到新人 ,充分让其展现自己的思路与成果; 督促深化单兵能力:通过会议的方式,推动参与人员进行思考与总结;通过演讲的方式,将所做所思讲出来,进一步帮助其加深对知识的印象与理解; 攻防相长双向提升:红队分享攻击链路 03 — 总结会沉淀 经过两次总结会,总体应急响应能力有了明显的提升,基本达到预期的效果。 通过本次课题中的两次攻击模拟与应急响应,从参加的7个小组、15+人员,可以印证需要下面这些能力: 操作系统基础; 日志分析技能; 应急工具使用; 安全漏洞原理; 渗透测试(加分项):在反向从安全漏洞分析入口时 以上能力的积累,也是我们在后续新员工培养中的输入项,同时亦可以此为应急响应专业技能图谱的评判维度,对该序列同学进行技术职级评定。 ----

    84320编辑于 2022-12-20
  • 如何用RAG增强的动态能力与大模型结合打造企业AI产品?

    核心要点RAG vs Few Shots:动态能力对比,RAG如何实现实时知识更新RAG关键指标解析:精确率、召回率、F1分数、MRR的对比分析在雨林一人公司的AI产品开发过程中,nine遇到了一个关键问题 (已发布,可查看历史文章)如何用RAG增强的动态能力与大模型结合打造企业AI产品? RAG技术的动态优势RAG技术通过外部知识库实现了真正的动态能力:实时知识更新: 知识库可以随时更新,新政策、新规则立即生效,无需重新训练模型。 技术总结RAG技术相比Few Shots学习的核心优势在于动态能力:能够实时更新知识库、提供可追溯的决策依据、覆盖海量业务场景。 掌握RAG增强技术后,你就具备了构建企业级大模型分类系统的完整能力,可以在各种复杂业务场景中发挥重要作用。记住:Few Shots适合简单场景,RAG适合企业级应用。

    34310编辑于 2025-09-21
  • 来自专栏coder

    什么是 RAG,为什么要用 RAG

    RAG 引用信息来源是用户可以核实答案,因此其透明透非常高,这增强了人们对模型输出结果的信任。 透过获取与特定领域数据,RAG能够为不同领域提供专业的知识支持,定制能力非常高。 结合 RAG 和 Fine tuning ,甚至 Promt Enginerring 可以让模型能力的层次性得增强。 这种协同作用特别在特定情境下显得重要,能够将模型的效能推至最佳。 然而,当应用于特定领域时,它们准确捕捉领域特定信息的能力可能会受到限制。 此外我们还得对嵌入模型进行 Fine tuning,以确保模型能理解用户查询,这步对下游应用是必不可少的。 这种限制可能会阻碍模型在真实世界中的表现,因为它可能过度适应训练集中的特定示例,从而降低了其在不同上下文中泛化的能力。 这种方法在减少过度适应和加强模型的泛化能力方面至关重要。 三.

    80610编辑于 2024-09-06
  • 来自专栏Reinvent Data Science

    RAG 修炼手册|如何评估 RAG 应用?

    当以黑盒方式来评估 RAG 应用时,我们看不到 RAG 应用的内部,只能从输入给 RAG 应用的信息和它返回的信息来评估 RAG 的效果。 有的 RAG 具备多路召回能力,可能还会有 基于词频的搜索方法(term frequency search) 算法,更换和升级这些关键组件也能为 RAG 应用带来更好的效果。 )、RAG 系统的回答(RAG's response)。 有的 RAG 有多路召回能力,可能还会有 term frequency search 算法。 很显然,测试这些关键组件也能体现出这个 RAG pipeline 在某一步的能力上的效果,更换和升级这些关键组件也能为 RAG 应用带来更好的性能。

    1.6K12编辑于 2024-04-25
  • 来自专栏周末程序猿

    RAG实战|8种RAG架构浅析

    Agentic RAG 简介: Agentic RAG(智能体RAG)将 AI Agent 的规划和推理能力RAG 相结合。 架构: 实现步骤: Agent初始化:创建具有推理和规划能力的AI Agent,配备检索工具 任务分解:Agent分析用户查询,将复杂问题分解为多个子任务 工具选择:Agent根据子任务特点选择合适的工具 print(answer) 6. Self RAG 简介: Self RAG 提供给模型自我评估和决策能力,它通过四个反思标记(Retrieve/ISREL/ISSUP/ISUSE)来判断:是否需要检索、文档是否相关、答案是否被支持、答案是否有用 SFR RAG 简介: SFR RAG(Salesforce Research RAG)是工业级高质量 RAG 的最佳实践。

    1.3K10编辑于 2025-12-30
  • 来自专栏多模态 / RAG / 知识图谱

    RAG 系列 04 — Agentic RAG

    配套阅读(按顺序):《RAG系列01—NaiveRAG》《RAG系列02—AdvancedRAG》《RAG系列03—ModularRAG》《从NaiveRAG到AgenticRAG》引言:那个一周烧掉4 他们6个月前启动了一个"AI智囊"项目——给企业客户提供"问什么都能答"的AI助手。 一、AgenticRAG到底是什么:一个被严重误解的概念1.1严格定义AgenticRAG=把检索行为本身变成Agent的工具,由一个(或多个)具备推理、规划、反思能力的LLMAgent在运行时决定:要不要检索 context=35Ktokens(+toolresult3)Iteration5:context=60Ktokens(+toolresult4)↑此时Agent已经忘了用户原始问题是什么Iteration6: 这个问题的答案,决定了你是RAG工程师还是RAG用户。

    15900编辑于 2026-06-13
  • 来自专栏多模态 / RAG / 知识图谱

    RAG 系列 01 — Naive RAG

    系列说明:这是RAG工程化系列第一篇,目标是把四代RAG(NaiveAdvancedModular/Agentic)逐一拆透。每篇聚焦一种范式,讲它真正能做什么、做不到什么、工程上怎么落地。 一、NaiveRAG到底是什么:先把定义讲清楚,否则后面全是糊涂账打开任何一篇RAG教程,你会看到几乎一样的描述:"RAG就是先检索再生成"。这种描述等于没说。 五、雷6+雷7:生成阶段的"幻觉温床"5.1雷6:Prompt里缺"诚实出口"最危险的prompt长这样:展开代码语言:PythonAI代码解释prompt="""根据以下文档回答问题。 9.1应该停留在Naive的场景场景理由单一产品FAQ文档同质化高内部小工具(<50用户)投入产出不划算真正的POC(≤1个月)验证业务价值文档高度规整(如API文档)检索本身不是问题团队没有ML工程能力先跑通比跑好重要 观点三:RAG工程师真正稀缺的能力,不是用最新模型,是知道什么时候该克制。

    44522编辑于 2026-05-23
领券