首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏RAG

    RAG系列:#5 RAG中的11种分块策略

    7个指标让你的准确率大幅提升RAG评测完整指南:指标、测试和最佳实践收藏! RAG核心工具大全:7大解析工具+向量模型+数据库+检索排序GraphRAG开源生态全景:6大主流开源项目,微软/蚂蚁/港大项目同台PK检索增强生成(RAG)将LLM与信息检索系统相结合,以生成更准确、 :块应包含独立、完整的语义单元(如一个概念的解释、一个问答对),兼顾语义完整与检索精度②突破大模型**的上下文窗口与注意力限制上下文窗口限制:模型处理能力有限,超长文档无法一次输入。 本文将详细介绍每种分块方法,比较不同的分块策略,探讨如何选择合适的分块策略,并了解在RAG中实施分块的**最佳实践。 识别包含文本的图像将表格转换为结构化数据格式保持不同模式下索引系统的一致性代理分块原理:采用大型语言模型(LLM)分析文本,并根据内容结构和语义建议块边界适用场景:需要保留含义和上下文的复杂文档优势:智能分割:利用LLM的理解能力创建有意义的块适应性强

    18510编辑于 2026-05-27
  • 来自专栏千帆企业应用连接器

    【神笔aPaaS】11能力月报

    事件格式、关联选择器以及移动端页面优化 5、支持多人协同开发,支持页面锁定&解锁,提高协同开发体验 6、新增视频播放器组件,可以在页面中轻松添加视频内容 7、丰富页面CSS样式,并开放升级样式低码能力 8、支持页面参数管理,页面支持全局、局部变量以及页面入参传递,且支持组件数据源、默认值、唤起流程等场景使用变量 9、升级前端表达式能力,支持变量、上下文以及组件值在表达式中获取使用;支持组件默认值 、数据源、显示条件等场景使用变量值 10、升级动作编辑器,支持变量赋值、触发组件动作等能力 image.png 11、Web SDK升级,增强自定义组件扩展能力 12、其他页面优化点,涉及移动导航 6、流程查询记录节点支持排序功能 image.png 7、流程管控展示日志优化 image.png image.png 03对象模型 1、RestfulAPI支持外部数据源构建外部对象-支持表达式低码能力 Excel数据支持导入/导出主子表 image.png image.png image.png 3、页面查询表单支持1对n搜索 4、汇总字段支持按条件筛选 image.png 5、新增数据审计能力

    89430编辑于 2021-12-07
  • 来自专栏AgenticAI

    实战微软新一代RAG:GraphRAG强大的全局理解能力,碾压朴素RAG

    微软近日开源了新一代RAG框架GraphRAG[1],以解决当前RAG在大型语料库上全局理解问题。 当前RAG主要聚焦于局部检索能力,即根据查询语句在向量库中匹配部分知识,然后通过大型语言模型合成这些检索到的信息,生成一个自然流畅的回答。 下一篇,我们将使用LlamaIndex测试同样问题进行对比全局理解能力。 1. **这类问题需要查询聚焦摘要(Query focused summary)而不是像我们上述RAG系统那样显式检索,现有的QFS方法无法扩展到RAG系统索引的文本量。 王林对“仙人”的概念着迷,反映了他对于超自然能力和永生的渴望。他的故事中还包含了与Heng Yue Faction青年的互动,这些交流影响了社区的动态和选拔过程。

    1.5K10编辑于 2025-03-18
  • 来自专栏花叔的专栏

    11-9小程序新能力

    11月9日发布的小程序新能力,其实在技术上没什么特点,就不做解读了,后头应该有更劲爆的。 “ 为帮助开发者快速推广小程序,公众号文章底部广告位现已支持推广小程序。

    1K70发布于 2018-04-18
  • 来自专栏AI 大数据

    RAG技术:通过向量检索增强模型理解与生成能力

    摘要本文介绍了RAG(检索增强生成)技术的原理与应用,特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力RAG技术通过结合向量检索与生成模型,有效解决了这些问题,提高了模型对外部知识的理解和生成能力RAG技术原理RAG技术主要通过“检索+生成”两个阶段结合来处理复杂的问题。 技术系统架构图优化与改进为了提升RAG技术的效果,可以持续优化生成模型的训练数据和参数配置,以提高其对自然语言的理解能力和语义分析准确性。 Q2:如何评估RAG技术的效果?A2:可以通过对比实验来评估RAG技术的效果。例如,将RAG技术与传统的基于关键词检索的方法进行比较,观察在相同查询条件下,RAG技术是否能够生成更准确、更相关的回答。 总结本文介绍了RAG技术的原理与应用,特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力

    64810编辑于 2025-01-28
  • 来自专栏DeepHub IMBA

    使用知识图谱提高RAG能力,减少大模型幻觉

    所以下面我们使用一个简单的例子来介绍如何使用知识图谱构建RAG。 对于RAG,知识图谱是一个非常好的应用方向。 作者:Plaban Nayak 喜欢就关注一下吧: 点个 在看 你最好看!

    1.9K11编辑于 2024-01-08
  • 来自专栏自然语言处理

    GraphRAG vs 传统 RAG:如何通过知识图谱提升 AI 检索能力

    相比传统 RAG 仅能独立检索文本片段的局限性,GraphRAG通过构建实体关系图谱实现了信息间的连接,让 AI 能更完整地理解和检索复杂的关联信息,从而生成更准确和连贯的回答 问题背景: 想象有一本详细记录某人 现在我们想要总结这个人的所有成就 传统 RAG 的局限性: 只能获取有限数量(top-k)的相关文本片段 各个文本片段是独立检索的 LLM 需要自行推断这些片段之间的联系 可能会遗漏重要信息 GraphRAG

    91410编辑于 2025-01-05
  • 来自专栏新智元

    闲来无事,我测了测国产大模型的RAG能力

    上面这些场景所考验的,就是模型在RAG(Retrieval-Augmented Generation)检索增强生成方面的能力RAG这个概念,最早在2020年的一篇划时代论文中首次提出,它巧妙地融合了LLM和信息检索的能力。 百度搜索增强技术深度融合大模型能力和搜索系统,构建了「理解-检索-生成」的协同优化技术。 RAG不仅是技术,更是智能进化的里程碑 2024百度世界大会上,李彦宏曾表示,RAG已从百度特色逐渐成为了行业共识。 过去两年,我们见证了RAG,为整个大模型领域带去翻天覆地的变化。 RAG不仅是技术,更是智能进化的里程碑。

    44100编辑于 2025-02-04
  • 来自专栏自然语言处理

    检索增强生成(RAG)的最新发展:一文汇总11种新型RAG算法!

    如今,RAG正向更具智能性和自主性的方向发展,能够处理像超图这样的复杂结构,并适应各种专业领域的需求。 本文将介绍11种最新的RAG类型,展示这一技术领域的创新前沿。 这种创新的组合带来了: 更高效的搜索策略 提高知识挖掘能力 使小型模型具备处理复杂任务的能力 MCTS-RAG为资源受限环境中的AI应用开辟了新的可能性。 5. 11. RAG系统的核心组成部分 因果推理:对因果关系的理解和推理将成为RAG系统的重要能力 多模态整合:跨文本、图像、视频等多种模态的知识整合将变得越来越重要 自适应能力RAG系统将能够根据任务性质和难度自动调整其检索和生成策略 这11种新型RAG技术代表了当前研究的前沿,它们不仅提高了AI系统的事实准确性,还扩展了这些系统处理复杂任务的能力范围。

    2.8K40编辑于 2025-04-22
  • 来自专栏Datawhale专栏

    RAG 作者:RAG 已死,RAG 万岁!

    一个具有更大上下文窗口的新模型问世,社交媒体上便会充斥着“RAG 已死”的宣言。 RAG 的初衷 五年前,我在 Meta 基础人工智能研究中心(FAIR,前身为 Facebook 人工智能研究中心)的团队提出了 RAG(Retrieval-Augmented Generation,检索增强生成 底线是:您同时需要长上下文 LLM 和 RAG。 但既然“RAG”这个术语似乎如此具有争议性,那我们不妨这样说: 我们不必非得称之为 RAG。 我们可以就叫它 检索 (retrieval)。 RAG 提供了相当于直接翻到相关页面的能力。处理更多 token 不仅更慢,而且极其低效,并且比使用 RAG 精准定位所需信息要昂贵得多。 RAG、微调和大型上下文窗口在 AI 中也是如此。 结论 我们不需要在 RAG 与长上下文窗口、微调或 MCP 之间做出选择。

    83010编辑于 2025-04-24
  • 来自专栏全栈开发工程师

    RAG】001-RAG概述

    RAG】001-RAG概述 0、整体思维导图 下面的知识是基于一个视频教程结合 AI 生成的笔记,我也看了一遍,有了一些印象,但这种印象很快就会消失,知识也就消失了,为了使得知识在我的大脑中停留更长的时间 补充1:RAG 基本逻辑 补充2:RAG 知识库基本逻辑 一、RAG 介绍 1、LLM 的主要局限性 大语言模型(LLM)尽管功能强大,但仍存在以下明显的局限性: 时效性问题:模型的知识在预训练后就固定了 概述 1、RAG 的概念 RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合了检索和生成技术的文本处理方法,主要用于提高语言模型的输出质量。 RAG 通过在生成回答之前,先从知识库中检索相关信息,然后将检索到的信息作为上下文提供给语言模型,从而实现更准确、更可靠的响应。这种方法既保留了 LLM 强大的理解和生成能力,又克服了其知识局限性。 对响应速度要求高的场景 有充足的训练资源和专业团队 需要深度定制模型行为的项目 3.3 混合使用策略 在实际应用中,可以考虑将两种方法结合使用: 使用 Fine-tuning 优化模型的基础能力 使用

    86610编辑于 2025-03-25
  • 来自专栏DeepHub IMBA

    Langchain中改进RAG能力的3种常用的扩展查询方法

    有多种方法可以提高检索增强生成(RAG)的能力,其中一种方法称为查询扩展。 ("system", qa_system_prompt), ("human", "{question}"), ] ) rag_chain qa_prompt | llm | StrOutputParser() ) question_string = rag_chain.invoke 总结 以上就是最常用的3种改进RAG能力扩展查询方法。当你在使用RAG时,并且没有得到正确或详细的答案,可以使用上述查询扩展方法来解决这些问题。希望所有这些技术可以用于你的下一个项目。

    1.4K10编辑于 2024-01-31
  • 来自专栏多模态 / RAG / 知识图谱

    RAG 系列 02 — Advanced RAG

    配套阅读:《RAG系列01—NaiveRAG》《从NaiveRAG到AgenticRAG》引言:2025年3月,我参加了一家toBSaaS公司的技术评审会。那天的议题是"RAG系统下一阶段升级路线"。 AdvancedRAG的本质,是把RAG从"一锤子买卖"重构为"多阶段管道"。 一边写成功一边写失败→数据不一致增量同步延迟不一致→同一文档两边状态不同删除传播不同步→一边能搜到,一边搜不到没法做原子重建解法(按推荐度排序):方案适合坑Elasticsearch8.x/OpenSearch单引擎双能力新项目首选 理由:单引擎一致性问题消失BM25是ES的看家本领向量能力虽然不顶尖,但够用运维生态成熟,招人容易坑2:中文BM25的tokenizer默认是错的ES默认tokenizer对中文是单字切分,召回质量极差 工程师真正稀缺的能力,不是用最新模型,是知道什么时候该克制。

    29210编辑于 2026-06-09
  • VFP AI 插件开发花絮11RAG.dll 帮助文档

    RAG.dll 帮助文档 概述 RAG.MTServer 是一个基于 VFP 的 COM 可调用类(OlePublic),用于管理和调用本地或远程的 AI 服务(如 AnythingLLM)。 该类封装了服务的初始化、启动、工作区管理以及知识库操作等功能,便于在 VFP 或其他支持 COM 的环境中集成 AI 能力。 注册 打开命令行:以管理员身份打开命令提示符(cmd)。 导航到 DLL 所在目录,执行: regsvr32 RAG.dll 属性 属性名 类型 说明 ‎oManager Object 受保护的内部对象,根据设置的提供商动态创建(如 AnythingLLM) 示例 loServer = CreateObject("RAG.MTServer") llSuccess = loServer.Set("AnythingLLM", "your-api-key", "C 以下是一个完整的调用流程: LOCAL loServer, llSet, llRunning, llStarted, loResult * 创建对象 loServer = CREATEOBJECT("RAG.MTServer

    17910编辑于 2026-04-02
  • TextIn文档树引擎,助力RAG知识库问答检索召回能力提升

    今天,我们将介绍另一项重要指标,也是业内面对的一项普遍性难点:标题识别,以及它如何影响数据清洗与RAG系统开发。 TextIn团队研发了文档树引擎这一关键技术,针对性提升标题检测能力。物理版面分析技术支持对目标区块的检测与元素识别,并利用标题区块的高度(即字号)判断一级、二级、三级、......N级标题。 以RAG(Retrieval-Augmented Generation)这一主要场景为例,在系统开发过程中,Chunking(分块)对整体性能有着显著的影响。 RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型,模型才能生成可靠有用的内容。 目前,TextIn文档解析工具已在RAG知识库问答中发挥重要功能,文档树引擎在年报、财报、行研报告等金融文件领域展现了较为明显的优势。

    85610编辑于 2024-08-13
  • 来自专栏机器学习原理

    rag

    这是因为这些模型在生成答案时完全依赖训练数据和参数,并没有利用外部知识库的能力。与此相对,检索模型可以访问大规模的文档库,找到与查询相关的信息,但在生成流畅的语言响应方面则表现欠佳。 RAG技术的原理 RAG(检索增强生成)技术是一种将信息检索和自然语言生成结合起来的创新方法。其核心思想是通过利用大规模的外部知识库来增强生成模型的回答能力,从而提高生成文本的准确性和相关性。 RAG工作流程 RAG的工作流程可以分为以下几个步骤: 用户查询:用户提出一个查询,系统首先会将这个查询传递给检索模型。 RAG技术的应用场景 RAG技术在众多实际应用场景中显示出其独特的优势,这是其他单一技术难以比拟的。下面我们详细探讨RAG技术的几个主要应用场景。 RAG技术的优势与挑战 RAG技术在很多方面展示了其显著的优势,但它也面临着一些挑战。以下我们将详细探讨RAG技术的优势和挑战。

    68211编辑于 2024-06-27
  • 如何用RAG增强的动态能力与大模型结合打造企业AI产品?

    核心要点RAG vs Few Shots:动态能力对比,RAG如何实现实时知识更新RAG关键指标解析:精确率、召回率、F1分数、MRR的对比分析在雨林一人公司的AI产品开发过程中,nine遇到了一个关键问题 (已发布,可查看历史文章)如何用RAG增强的动态能力与大模型结合打造企业AI产品? RAG技术的动态优势RAG技术通过外部知识库实现了真正的动态能力:实时知识更新: 知识库可以随时更新,新政策、新规则立即生效,无需重新训练模型。 技术总结RAG技术相比Few Shots学习的核心优势在于动态能力:能够实时更新知识库、提供可追溯的决策依据、覆盖海量业务场景。 掌握RAG增强技术后,你就具备了构建企业级大模型分类系统的完整能力,可以在各种复杂业务场景中发挥重要作用。记住:Few Shots适合简单场景,RAG适合企业级应用。

    34410编辑于 2025-09-21
  • 来自专栏高渡号外

    学会创建模拟数据的能力 | 代码找bug(11

    Python代码找bug(11) 上期的代码设计需求:互换两个变量的值。 代码如下: ? 请大家仔细阅读代码,找出其中的bug! 正确答案: 共有2个问题。

    55530发布于 2020-09-22
  • 来自专栏周末程序猿

    RAG实战|8种RAG架构浅析

    Corrective RAG 简介: Corrective RAG 在传统 RAG 基础上引入了文档质量评估和自我修正机制。 Agentic RAG 简介: Agentic RAG(智能体RAG)将 AI Agent 的规划和推理能力RAG 相结合。 架构: 实现步骤: Agent初始化:创建具有推理和规划能力的AI Agent,配备检索工具 任务分解:Agent分析用户查询,将复杂问题分解为多个子任务 工具选择:Agent根据子任务特点选择合适的工具 Self RAG 简介: Self RAG 提供给模型自我评估和决策能力,它通过四个反思标记(Retrieve/ISREL/ISSUP/ISUSE)来判断:是否需要检索、文档是否相关、答案是否被支持、答案是否有用 SFR RAG 简介: SFR RAG(Salesforce Research RAG)是工业级高质量 RAG 的最佳实践。

    1.3K10编辑于 2025-12-30
  • 来自专栏Reinvent Data Science

    RAG 修炼手册|如何评估 RAG 应用?

    有的 RAG 具备多路召回能力,可能还会有 基于词频的搜索方法(term frequency search) 算法,更换和升级这些关键组件也能为 RAG 应用带来更好的效果。 有的 RAG 有多路召回能力,可能还会有 term frequency search 算法。 很显然,测试这些关键组件也能体现出这个 RAG pipeline 在某一步的能力上的效果,更换和升级这些关键组件也能为 RAG 应用带来更好的性能。 Reply: As of last month, Milvus support 11 Index types. Ground-truth Context: In this version, Milvus support 11 Index types.

    1.6K12编辑于 2024-04-25
领券