- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI智能体从入门到实践
构建AI智能体：优化 RAG 检索精度：深入解析 RAG 中的五种高级切片策略
前面几篇文章已经深入讨论过LangChain、RAG架构的细节，对RAG有了基础的了解，今天重点梳理一下RAG的切片策略；一、什么是RAG切片 给定一个场景，我们有一本非常厚的百科全书 RAG 的切片策略，就是帮我们把这本厚厚的书，提前拆分成一页一页、或者一段一段的“小纸片”，并给这些小纸片做好详细的“目录”和“标签”，做成一个高效的“索引”或者“目录”，当AI助手需要回答问题时，它不需要去翻整本书 不同的切片策略，就是做“目录”的不同方法。 所以，到底什么是RAG切片？ RAG切片就是把一份长长的文档（如PDF、Word），合理地切割成一个个小块（Chunks）的过程。 切片后，搜索引擎可以精准地定位到包含“年假”关键词的那些小块。三、几种切片策略1. 用不同的策略和参数（大小、重叠）处理你的文档。 运行你的RAG管道，评估答案的质量。评估答案是否准确？检索到的上下文是否真正相关？ 迭代优化：选择效果最好的那种策略。
1.4K32编辑于 2025-11-11 - 来自专栏DeepHub IMBA
RAG 中分块重叠的 8 个隐性开销与权衡策略
RAG 分块重叠提升了召回率但增加了隐藏成本，比如说索引膨胀、Embedding 开销、延迟、重排序负载和评估漂移。 本文将总结的八项 RAG 分块重叠隐藏的成本，以及如何判断什么时候重叠真正有用，什么时候只是花钱买心安。 正确做法是对所有环节做版本管理：语料库快照、分块参数（S，O）、Embedding 模型、索引构建配置、检索和重排序策略，一个都不能少。 8、运维复杂度上升：大索引威胁系统可靠性 更大的索引、更高的单次查询计算量，带来的不仅是费用，还有可靠性风险。 因为索引构建慢了所以部署和回滚窗口会拉长，内存尖峰也更频繁。 如果你正在调优 RAG，建议做一个实验：在增大 overlap 的同时，强制启用去重和每文档上限。如果这套组合能以更少的冗余拿到大部分质量收益。 by Velorum
12410编辑于 2026-02-27 - 来自专栏周末程序猿
RAG实战|8种RAG架构浅析
因为项目的需要，之前研究了一段时间的RAG，于是本文总结 8 种 RAG 架构，对每种架构进行简要介绍，并用 langchain 实现其参考代码。 1. Adaptive RAG 简介： Adaptive RAG 根据查询的类型和复杂度动态选择最优的处理策略。 架构： 实现步骤： 查询分类：分析用户查询的类型和复杂度（简单事实/多跳推理/开放性问题） 策略选择：根据查询类型选择最优的RAG策略 简单查询：直接LLM回答或单次检索 复杂查询：多轮迭代检索 开放性问题 路由到对应策略 routing_map = { QueryType.SIMPLE: self.simple_rag, QueryType.MULTI_HOP ", "行业趋势..."]) answer = arag.query("分析公司未来的发展前景") # 会被识别为OPEN_ENDED print(answer) 8.
1K10编辑于 2025-12-30 - 来自专栏#大模型热点基础知识
什么是RAG文档切分策略？
文档切分策略，就是解决这个平衡问题的关键艺术。在RAG系统中，文档切分不只是简单的"砍一刀"，它直接影响检索的准确性和生成答案的质量。 二、什么是RAG文档切分策略RAG文档切分策略是将大型文档分割成适合检索和生成的小块（chunks）的方法论。 三、RAG文档切分策略如何工作文档切分策略主要包含三种核心方法，每种都有其独特的工作机制和适用场景。 流式切分技术能够在文档新增时动态调整chunk边界，避免全量重建索引，这对大规模RAG系统至关重要。多模态文档切分：随着RAG从文本扩展到图片、表格、视频，切分策略也需要演进。 六、总结与思考RAG文档切分策略的本质，是在检索效率与语义完整之间寻找动态平衡的艺术。
27420编辑于 2026-04-02 - 来自专栏无题~
MapReduce之 FileInputFormat的切片策略(默认)
①获取当前输入目录中所有的文件 ②以文件为单位切片，如果文件为空文件，默认创建一个空的切片 ③如果文件不为空，尝试判断文件是否可切(不是压缩文件，都可切) ④如果文件不可切，整个文件作为1片 ⑤如果文件可切 ArrayList<InputSplit>(); // 获取当前Job输入目录中所有文件的状态(元数据) List<FileStatus> files = listStatus(job); // 以文件为单位进行切片 blkLocations = fs.getFileBlockLocations(file, 0, length); } // 判断当前文件是否可切，如果可切，切片 } } else { //Create empty hosts array for zero length files // 如果文件是个空文件，创建一个切片对象 ，这个切片从当前文件的0offset起，向后读取0个字节 splits.add(makeSplit(path, 0, length, new String[0])); }
69140发布于 2020-07-21 RAG—Chunking策略实战｜得物技术
一、背 景在 RAG 系统中，即便采用性能卓越的 LLM 并反复打磨 Prompt，问答仍可能出现上下文缺失、事实性错误或拼接不连贯等问题。 某种意义上，分块质量几乎决定了RAG的性能上限——它决定知识是以连贯的上下文呈现，还是退化为无法拼合的碎片。 文档内或语料级聚类：文档内小规模：MiniBatchKMeans（k=3–8 先验）或 SpectralClustering。 min_topic_span_sents：如 5–8 句，防止标签抖动导致过密切分。小文档不宜用：样本太少时主题不可分，优先用语义分块或结构分块。 目标：为RAG检索创建高内聚、可追溯的块。
1.1K10编辑于 2025-10-30- 来自专栏kwai
Go切片Silce底层实现和扩容策略(旧版）
不管是使用 nil 切片还是空切片，对其调用内置函数 append，len 和 cap 的效果都是一样的。 三 切片扩容 当一个切片的容量满了，就需要扩容了。怎么扩，策略是什么？ 主要需要关注的有两点，一个是扩容时候的策略，还有一个就是扩容是生成全新的内存地址还是在原来的地址后追加。 0xc4200b0140, len = 4, cap = 4 Before newSlice = [10 20 30 40 50], Pointer = 0xc4200b0180, len = 5, cap = 8 0xc4200b0140, len = 4, cap = 4 After newSlice = [10 30 30 40 50], Pointer = 0xc4200b0180, len = 5, cap = 8 Go 中切片扩容的策略是这样的： 如果切片的容量小于 1024 个元素，于是扩容的时候就翻倍增加容量。上面那个例子也验证了这一情况，总容量从原来的4个翻倍到现在的8个。
1.2K30编辑于 2023-04-12 - 来自专栏掘金安东尼
再靠近亿点点，RAG 优化策略
本篇来看下 RAG 的架构优化策略 利用知识图谱（KG）进行上下文增强 在现有的向量数据库中，典型的上下文增强可能面临挑战：难以捕捉长距离的关联知识，信息稀疏性高（尤其是当LLM上下文窗口有限时）。 Self-RAG 的推理过程 Self-RAG 通过运用反思性标记对自己的输出进行自评，这使得它在推理过程中展现出调整与适应能力。 2、首先借助多模态大型模型（如GPT4-V、LLaVA、FUYU-8b）对图像内容进行概要生成。紧接着，对文本、表格和图像的概要进行向量化处理，存入综合向量索引系统。 小结 本篇文章介绍了 RAG 的架构优化策略，主要包括利用知识图谱进行上下文增强以及让大模型对召回结果进行筛选的方法。 自荐我和机械工业出版社联合出版的 《程序员成长手记》 一书：全书分为3大模块、8个章节：从入门程序员到程序员自驱成长，回归纸质阅读，相信能给你一个更全局的程序员视野，提供成长帮助。
1K10编辑于 2024-04-13 - 来自专栏WebDeveloper
Go基础系列 | 8. 内置集合 - 切片
学到什么 什么是切片？ 如何创建切片？ 如何获取切片长度和容量？ 切片和数组的关系？ 操作切片具体元素？ 切片元素如何追加和移除？ 切片是引用类型还是值类型？ 如何拷贝切片？ 如何创建多维切片？ 切片字符串是啥？ 概念 在学习切片之前请先将上篇文章《内置集合 - 数组》搞明白。 切片使用起来类似长度可变的数组，不像数组长度是固定的。 但切片的底层使用的还是数组，切片只是保存了对数组的引用，帮着管理数组，实现可变的效果。 声明 格式：var 切片名称 []数据类型 和数组声明的区别是，是否指明了长度，没有长度则为切片。 都省略，如果是切片两者一样，如果是数组会转化为切片类型。 从图中可以看出所有的切片都指向同一个数组，这也说明了切片是一个引用类型，它在传递时不会进行拷贝。 追加和移除元素 往切片中追加元素，使用到 append 函数，此函数只能追加到切片末尾。
82420发布于 2021-07-13 - 来自专栏DeepHub IMBA
RAG流程优化（微调）的4个基本策略
在本文中，我们将介绍使用私有数据优化检索增强生成(RAG)的四种策略，可以提升生成任务的质量和准确性。 通过使用一些优化策略，可以有效提升检索增强生成系统的性能和输出质量，使其在实际应用中能够更好地满足需求。 RAG简单回顾 RAG主要有两个过程。 为了评估这些策略的有效性，我根据ColdF的数据准备了一套10个带有实际答案的问题。 真实性和答案相关性是生成器度量标准，分别衡量幻觉和答案对问题的直接程度。 = pd.DataFrame(rag_dataset) rag_eval_datset = Dataset.from_pandas(rag_df) # Return the 还有最重要的一点成功的关键在于理解现有的数据，尝试不同的策略，并不断改进的流程。
2.2K10编辑于 2024-07-01 - 来自专栏数据和云
MySQL 8密码策略
MySQL8提供了较多的密码管理功能和策略，包括密码过期时间设置，密码重用限制，密码验证，双密码，密码强度评估和密码失败跟踪等。 DBA使用提供的这些功能和策略对MySQL用户的密码进行管理和配置，进一步完善数据库的安全保障。 同样的既可以设置一个全局策略，也可以对每个用户设置单独的策略。 当开启密码重用策略后， mysql.password_history 表中将会记录用户使用的历史密码和该密码被修改的时间。 | {"additional_password": "*EBED5A04B3B2D65B204464B8C4CEA9C06181C1F6"} | +------+------+------------ 对于 CREATE USER 语句，validate_password 要求提供密码，并且满足密码策略。即使帐户最初被锁定也是如此，否则稍后解锁帐户将导致它在没有满足策略密码的情况下变得可访问。
3.3K20发布于 2021-10-13 - 来自专栏AgenticAI
OpenAI主管Lilian Weng分享RAG对抗LLM幻觉策略
2024年7月7号，OpenAI安全团队负责人，Lilian Weng分享了一篇博客介绍了LLM中幻觉的由来、检测和对抗策略，分享给大家，以下为翻译全文。 注：本文共分为三节：LLM幻觉由来、检测和对抗，其中对抗方法包括RAG相关的策略，感兴趣的同学可以直达。 1. 什么导致幻觉？ Wei 等人 (2024)[7]提出了一种用于检查 LLM 中长格式事实性的评估方法，称为SAFE（搜索增强事实性评估器；代码[8]）。 3.1 RAG → 编辑和归属 RAG（检索增强生成）[20]是一种非常常见的提供基础信息的方法，即检索相关文档，然后使用相关文档作为额外上下文进行生成。 Self-RAG 每次生成一个片段。
70410编辑于 2025-03-18 - 来自专栏程序员
C++对象切片：机制、应用场景与规避策略
对象切片的核心机制1.1 切片的发生条件对象切片（Object Slicing）发生在派生类对象向基类对象赋值或传值时，编译器仅复制基类子对象部分，派生类特有成员被丢弃。 :serialize()}2.2 类型规范化与数据清洗在数据预处理阶段，需要统一数据类型格式：class DataPacket {public: virtual std::vector<uint8_ getCanonicalForm() const { return normalizeData(raw_data); }protected: std::vector<uint8_ };class EncryptedPacket : public DataPacket { EncryptionMetadata meta;public: std::vector<uint8_ 专业规避策略4.1 基于智能指针的多态容器std::vector<std::unique_ptr<Base>> polymorphic_objects;polymorphic_objects.push_back
34010编辑于 2025-09-09 - 来自专栏AI研思录
RAT:融合RAG和CoT的高效多步推理任务策略
因此这篇论文考虑在COT的基础上加上了RAG，即 RAT，通过利用检索到的外部信息为大模型提供推理依据。 使用RAG来修复大模型生成思维步骤：假设已经修复了之前的思考步骤，现在要修复第 个思维步骤 ，将现在和过去的思维步骤 转化为将可以被LLM检索系统处理的查询，得到 检索文档：使用RAG检索 相关的文档 数学推理评估：在 GSM8K 和 GSM-HARD 数据集上进行的，这些数据集包含了成千上万的多步骤数学问题。采用准确率作为评估指标。 论文总结 这篇文章提出的RAT结合了RAG和CTO思想，使用RAG检索的文档动态优化COT中的每一个步骤，确保每一个推理步骤都是有依据的，避免大模型的幻觉。 实验结果表明，RAT在这些任务上相比传统的CoT提示和RAG方法都有显著的性能提升。
71910编辑于 2025-02-20 - 来自专栏跟着asong学Golang
Go语言切片面试真题8连问
切片的扩容策略 这个问题是一个高频考点，我们通过源码来解析一下切片的扩容策略，切片的扩容都是调用growslice方法，截取部分重要源代码： // runtime/slice.go // et：表示slice newcap = int(capmem / sys.PtrSize) case isPowerOfTwo(et.size): var shift uintptr if sys.PtrSize == 8 et.size, uintptr(newcap)) capmem = roundupsize(capmem) newcap = int(capmem / et.size) } } 通过源代码可以总结切片扩容策略 ： 切片在扩容时会进行内存对齐，这个和内存分配策略相关。 总结 本文总结了8道切片相关的面试真题，切片一直是面试中的重要考点，把本文这几个知识点弄会，应对面试官就会变的轻松自如。 关于切片的面试真题还有哪些？
90030编辑于 2022-07-11 - 来自专栏拾光学迹
在 RAG 中数据处理的关键：数据切片的挑战与解决方案
字数: 900+ | 阅读时间: 3-4分钟 热点解读：在AI快速发展的今天，RAG技术正成为各行各业的"必备神器"。但要真正驾驭这头"AI猛兽"，你必须先搞定数据切片这个"拦路虎"！ 一、数据切片：RAG技术的"阿喀琉斯之踵" 朋友们，想象一下：你辛辛苦苦收集了海量数据，却因为切片不当，让你的AI变成了"结巴"或"健忘症患者"。 1. AI：基于长切片中的丰富信息，我可以从AI、量子计算、生物科技等多个角度为您分析... 四、解决方案三：先粗切片 + 再细切片 小贴士：这就像给AI装备了"望远镜+显微镜"，既能看大局又能观细节！ 优点： 效率和准确性的完美平衡 适应复杂文档的处理需求 示例： 粗切片：硬件部分、软件部分 细切片：处理器、内存、硬盘... 用户：处理器的性能如何？ AI：通过粗切片定位到硬件部分，再通过细切片找到处理器相关信息，为您详细分析... 五、总结 朋友们，在这个AI浪潮中，掌握RAG技术就像学会了"驯服AI猛兽"的秘诀。
45000编辑于 2025-02-26 - 来自专栏DeepHub IMBA
RAG系统嵌入模型怎么选？选型策略和踩坑指南
RAG 的效果在很大程度上取决于检索到的上下文质量——提升效果的常用手段包括合理切分文本块（chunking）、选用合适的嵌入模型与采用稳健的检索策略。 嵌入在 RAG 中为何重要？ 语义理解：嵌入将词、句子或文档转成向量（数字列表），让相近语义彼此靠近。这帮助系统理解语境与含义，而非仅做字面匹配。 高效检索：RAG 需要快速找到最相关的段落或文档。 新模型（如 BGE-M3）可一次接收上千词（最高 8,192 token），帮助系统保留完整语义脉络。 选择嵌入时的关键考量 设计 RAG 时我首先会问："系统要处理什么数据？" RAG 系统的优化是个迭代过程，嵌入模型只是其中一环。有了数据、有了用户反馈，你自然知道该朝哪个方向调整。
46610编辑于 2025-11-15 - 来自专栏谢公子学安全
K8s调度策略
1 调度 在K8s中，调度是指将Pod放置到合适的节点上。调度器通过 K8s 的监测机制来发现集群中新创建且尚未被调度到节点上的Pod。 在做调度决定时需要考虑的因素包括：单独和整体的资源请求、硬件/软件/策略限制、 亲和以及反亲和要求、数据局部性、负载间的干扰等等。 支持以下两种方式配置调度器的过滤和打分行为： 调度策略：允许你配置过滤所用的 断言（Predicates） 和打分所用的 优先级（Priorities）。 K8s 也会为集群中所有节点添加一些标准的标签。 给节点添加标签 ” 执行如下命令给指定的k8s-node1节点添加标签 key1=value1。 #查询k8s-master节点的Taints kubectl describe node k8s-master | grep Taints #取消污点 kubectl taint nodes k8s-master
1.4K80编辑于 2023-02-27 - 来自专栏黄啊码【CSDN同名】
K8s驱逐策略
驱逐用户策略Kubelet 会按照下面的标准对 Pod 的驱逐行为进行评判：根据服务质量根据 Pod 调度请求的被耗尽资源的消耗量接下来，Pod 按照下面的顺序进行驱逐：BestEffort：消耗最多紧缺资源的 Burstable：相对请求（request）最多紧缺资源的 Pod 最先被驱逐，如果没有 Pod 超出他们的请求，策略会瞄准紧缺资源消耗量最大的 Pod。 Guaranteed：相对请求（request）最多紧缺资源的 Pod 最先被驱逐，如果没有 Pod 超出他们的请求，策略会瞄准紧缺资源消耗量最大的 Pod。 system.slice--enforce-node-allocatable=pods,kube-reserved,system-reserve--kube-reserved=cpu=1000m,memory=8Gi
1.5K20编辑于 2022-07-15 - 来自专栏蛋先生说识
RAG 切片利器 LumberChunker 是如何智能地把文档切割成 LLM 爱吃的块
RAG 里的文档应该怎么切割比较好呢？按固定的字符数或词数？按句？按段落？加个重叠窗口？感觉这些都太简单粗暴，容易把相关的内容给拆散了蛋先生：恩，你说得对。 我们在上面的流程处理后，拿到了新的起点段落，然后重复以上流程，直到所有段落都被处理完毕丹尼尔：哎呦不错哦，又简单又有效，这样看上去每个相关的块基本都可以在一起，不会被硬拆开蛋先生：没错，有了高质量的分块，RAG
43810编辑于 2025-10-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号