首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏『学习与分享之旅』

    RAG落地实战

    LangChain4j 系列文章LangChain4j - LangChain4j快速入门实战LangChain4j - 多模态开发踩坑实录LangChain4j - 系统提示词稳住AILangChain4j - 注解式AI服务实战LangChain4j - 让AI不再失忆LangChain4j - LangChain4j 结构化输出实战RAG(Retrieval-Augmented Generation, 很多企业也基于 RAG 搭建了自己的智能客服,⁢可以用自己积累的领域知识回复用户。 加载文档List<Document> documents = FileSystemDocumentLoader.loadDocuments("src/main/resources/docs");// 2. 好了,本篇文章就到这里,极简版 RAG 的使用非常简单,适合快速查看效果。

    25310编辑于 2025-11-21
  • 来自专栏周末程序猿

    RAG实战|8种RAG架构浅析

    ", "文档2内容...", "文档3内容..."]) answer = naive_rag.query("What is issue date of lease?") print(answer) 2. ", "文档2的内容... Agentic RAG 简介: Agentic RAG(智能体RAG)将 AI Agent 的规划和推理能力与 RAG 相结合。 SFR RAG 简介: SFR RAG(Salesforce Research RAG)是工业级高质量 RAG 的最佳实践。

    1K10编辑于 2025-12-30
  • 来自专栏大模型成长之路

    【大模型学习 | RAG & DeepSeek 实战

    Deepseek & RAG 实战 编者常常有许多材料需要阅读查阅,但自己又比较懒,为此,想在大模型的学习过程中基于RAG技术将本地知识库与大模型结合起来,加快自身的效率。 :提取PDF文本并分块pdf_text = extract_text_from_pdf("mypdf.pdf")paragraphs = split_into_paragraphs(pdf_text)2️⃣ 检索Top3结果:参考1 - 8 -(境外生排位第一)获得省部级及以上学科竞赛奖项,奖励金额参考2 1.学校对获得省部级及以上学科竞赛奖项的学生给予奖励,参考3 培训费以及学生奖金等。 参考2 第三章 赛事分类与级别认定 第七条 根据学科竞赛的组织机构、专业度、社会影响和获 - 4 - 奖难度等方面综合考虑,将竞赛分为国家级、省部级、地厅级和 校级赛事。 5️⃣ 界面设计编者基于PYQT5模块设计了一个支持知识库搭建的大模型问答系统:搭建知识库后:模型输出写在最后:✅ 本项目搭建了一个简单的知识库问答系统,用户可以将自己的私人知识库进行搭建,基于RAG技术实现问答系统

    1K31编辑于 2025-07-19
  • 大模型RAG进阶实战营教程

    文章首先介绍了RAG技术的基本概念和发展历程,随后详细分析了其核心架构和工作原理。通过多个行业应用案例,展示了RAG技术在实际场景中的强大表现。 一、RAG技术概述RAG技术的基本原理是通过结合信息检索和文本生成两大模块,实现知识增强的智能问答和内容创作。 三、RAG技术的行业应用案例在金融领域,RAG技术正在革新传统的投资研究和客户服务模式。 四、RAG技术的进阶优化策略提升RAG系统性能的关键在于优化检索和生成两个核心环节。 这些综合措施使得RAG系统在实际应用中表现出越来越高的可靠性和实用性。五、挑战与未来发展趋势尽管RAG技术取得了显著进展,但仍面临多项挑战。

    83210编辑于 2025-06-11
  • 来自专栏啄木鸟软件测试

    RAG系统测试实战:未来已来

    2. 从「静态断言」到「语义弹性评估」 传统assert response == expected_string 在RAG中彻底失效。同一问题“如何申请高新技术企业认定?” 二、实战四步法:构建RAG可落地的测试体系 Step 1:构建「黄金测试集」而非「测试用例」 摒弃手工编写question-answer对。 Step 2:自动化「双轨验证流水线」 开发Pytest插件rag-testkit,支持并行执行: - 检索轨:调用向量库API获取top-5 chunk,验证其与query的余弦相似度>0.65、覆盖全部标注关键词 、时间戳在有效期内; - 生成轨:将检索结果+原始query送入LLM,使用LLM-as-a-Judge框架(经领域微调的Qwen2-1.5B)自动评分:事实性(0–5)、完整性(0–5)、可读性(0– 结语:测试者,是RAG时代的「真相校准师」 RAG不是终点,而是人机协同新范式的起点。

    15710编辑于 2026-03-31
  • RAG—Chunking策略实战|得物技术

    一、背 景在 RAG 系统中,即便采用性能卓越的 LLM 并反复打磨 Prompt,问答仍可能出现上下文缺失、事实性错误或拼接不连贯等问题。 某种意义上,分块质量几乎决定了RAG的性能上限——它决定知识是以连贯的上下文呈现,还是退化为无法拼合的碎片。 当分块尊重文档的叙事与结构时,检索的相关性与答案的事实一致性往往显著提升,远胜于一味更换向量模型或调参;换言之,想要真正改善 RAG 的稳健性与上限,首先要把“知识如何被切开并呈现给模型”这件事做好。 PS:本文主要是针对中文文档类型的嵌入进行实战。二、什么是分块(Chunking)分块是将大块文本分解成较小段落的过程,这使得文本数据更易于管理和处理。 目标:为RAG检索创建高内聚、可追溯的块。

    1.1K10编辑于 2025-10-30
  • 来自专栏大模型成长之路

    【大模型学习 | RAG & DeepSeek 实战(二)】

    Deepseek & RAG 实战(二)在【大模型学习 | RAG & DeepSeek 实战】-腾讯云开发者社区-腾讯云文章中,已经实现了基于RAG建立了本地知识库,通过检索相似度最高的知识来辅助大模型的问答系统 rerank 模型(如 BGE-Reranker、ColBERT),对多个段落的得分进行重排序,具体实现:1️⃣ 将 (query, paragraph) 成对送入 BERT/Transformer 分类器2️⃣ paragraphs = cache["paragraphs"] doc_embeddings = cache["embeddings"]index = faiss.IndexFlatL2( 为此,需要对存储向量进行压缩.在原来的代码中,我们没有采用任何的向量压缩,采用了最简单和最基础的检索方式IndexFlatL2,通过欧氏距离进行相似度计算,为了加快检索速度, faiss提供了多种压缩方式 → 用 8bit 表示每个子块index = faiss.IndexPQ(d, M=8, nbits=8)d: 向量维度(如 384)M: 子向量数量(压缩块)nbits: 每块用几位表示(8bit)2️⃣

    89621编辑于 2025-07-20
  • SpringAI 全栈开发 + RAG 检索增强实战

    >SpringAI RAG企业级实战项目</description> <properties> <java.version>17</java.version> < /groupId> <artifactId>fastjson2</artifactId> <version>${fastjson2.version}</version 实战项目接口文档") .description("企业级AI应用开发与RAG检索增强系统接口文档") .version 四、RAG技术栈全链路落地实战 RAG的核心是让大模型基于私有知识库生成精准回答,全链路分为文档处理、文本向量化、向量存储、智能检索、Prompt拼接、大模型生成六大环节,本节将完整实现每个环节的生产级代码 如果参考上下文中包含用户问题的答案,必须基于上下文内容进行回答,回答要准确、完整、逻辑清晰 2.

    11810编辑于 2026-04-14
  • 极客-RAG快速开发实战|果fx

    RAG 技术概述RAG(Retrieve, Answer, Generate)是一种融合检索和生成的模型架构,常用于问答系统、对话生成等任务。 场景应用RAG可以广泛应用于以下场景:智能问答系统客户支持聊天机器人文档理解与信息提取教育辅导助手原理解析RAG结合了信息检索和生成模型的优点。 实战教学环境配置在开始之前,请确保您的环境中安装了必要的库。 ")retriever = RagRetriever.from_pretrained("facebook/rag-sequence", use_dummy_dataset=True)# 创建RAG模型model 检索过程: 利用RAG的检索机制找到相关文档。生成答案: 基于检索到的文档生成最终的自然语言回答。扩展思路可以通过替换不同的数据集来训练自己的检索器。

    44910编辑于 2024-11-18
  • 来自专栏周末程序猿

    RAG实战|向量数据库LanceDB指南

    支持多种向量相似度算法,包括Cosine、L2等。 与Arrow生态系统紧密集成,允许通过 SIMD 和 GPU 加速在共享内存中实现真正的零拷贝访问。 2. /test") data = [ {"x": 1, "vector": [1, 2]}, {"x": 2, "vector": [3, 4]}, {"x": 3, "vector [3.0, 4.0] # 2 3 [5.0, 6.0] table.delete("x = 2") table.to_pandas() # x vector # 0 1 [1.0 /test") data = [ {"x": 1, "vector": [1, 2]}, {"x": 2, "vector": [3, 4]}, {"x": 3, "vector , num_partitions=2, num_sub_vectors=4) distance_type:距离度量算法,可以参考(cosine, l2)等; num_partitions: 分区数量;

    2.2K10编辑于 2025-03-31
  • 西瓜老师AI大模型RAG项目实战

    RAG(检索增强生成)技术应运而生,正逐渐成为构建可信AI系统的核心架构。未来十年,RAG将如何演进?其突破方向又将如何重塑AI与人类的协作模式? 一、RAG的当下定位:可信AI的“基石”而非“补丁”当前RAG系统已从初期的简单文档检索,发展为包含复杂工作流的多层架构:核心价值维度:事实准确性:通过对接权威知识源,有效遏制模型幻觉知识实时性:绕过模型参数冻结限制 检索技术的“认知升级”意图理解深化:超越关键词匹配,深度解析用户查询的语境、背景和真实意图时序感知检索:理解知识的时间维度,区分不同时期观点的演进与变迁不确定性量化:对检索结果提供置信度评估,明确标识知识边界2. 真正的突破将发生在技术与人文的交叉点:当RAG系统不仅能准确回答问题,更能理解问题的深层含义;不仅能提供事实,更能呈现思考的脉络;不仅能服务个体,更能促进集体智慧的涌现。 在这个未来中,RAG架构将成为我们扩展认知边界、应对复杂挑战的关键基础设施,推动人类文明向更高层次的智慧形态演进。现在播下的种子,将在未来十年结出改变世界的果实。

    32110编辑于 2025-11-26
  • 来自专栏自然语言处理

    RAG实战-Markdown文件解析思路分析与实现

    len(heading_match.group(1)) - 1 # 提取标题内容 page_content = heading_match.group(2) \n2G、3G、4G 主要解决人与人之间的通信,5G 不仅要解决人与人之间的通信,而且要解决人与物、物与物之间的通信,从而达成万物互联的目的。 , {'title': '# 5G 双域专网', 'content': '## 基本概念\n以 5G 专网为基础提供服务于 5G 用户的 2B2C 双域网络模式,可满足企业用户“不换卡 \n## 应用场景\n(1) 强调“广域接入”,移动终端“不换卡不换号”、强调支持特定号码全国漫游自由接入双域专网;\n(2) 强调“局域接入”,移动终端“不换卡不换号”、强调支持特定号码、特定区域自由接入双域专网 \n## 实现方案\n(1)通用 DNN+ULCL;(2)专用 DNN+IP 分流;(3)通用 DNN+ULCL+专用 DNN(可选);(4)通用 DNN+专用 DNN+IP 分流。'}]

    94300编辑于 2025-01-09
  • 来自专栏山行AI

    GenAI——LLM结合图谱RAG和LangChain实战指南

    (聊天输入 + RAG模式选择器) 应用程序 2 - 加载器 UI: http://localhost:8502 数据库客户端: http://localhost:7474 •导入特定标签的最近Stack text=hello&rag=false (非流式)•http://localhost:8504/query-stream? 实战 对于持续对GenAI的高度兴趣,新的创新每天都在涌现。 有一个叫做RAG模式的开关,用户可以完全依赖LLM的训练知识(RAG:禁用),或者更有能力的(RAG:启用)模式,其中应用程序使用文本嵌入的相似性搜索和图查询找到数据库中最相关的问题和答案。 state=hKFo2SBiSUpERzNQbTJUbVZock1HUjFNSFdHZUtoX01wUlJTd6Fur3VuaXZlcnNhbC1sb2dpbqN0aWTZIE9hOTFqNE1pZ2pEQ2tzTDJMcWliUVBYTVVRTlVIOGxFo2NpZNkgV1NMczYwNDdrT2pwVVNXODNnRFo0SnlZaElrNXpZVG8&

    5.6K31编辑于 2023-12-29
  • 来自专栏自然语言处理

    RAG实战】Prompting vs. RAG vs. Finetuning: 如何选择LLM应用选择最佳方案

    为了保持高实用性,我们可以选择以下几种方法之一: Prompt Engineering(提示工程) Fine-tuning(微调) RAG(Retrieval-Augmented Generation, 检索增强生成) 混合方法(RAG + 微调) 影响因素 以下两个重要因素会影响我们的决策: 外部知识需求:你的任务需要多少外部知识。 如何决定: 使用RAG:如果你需要基于自定义知识库生成输出,并且LLM的词汇和写作风格保持不变。 使用微调:如果你想要改变模型的结构(行为)而不是知识。 混合方法(RAG + 微调):如果你的应用需要自定义知识库和模型行为的改变。

    46810编辑于 2024-12-20
  • 来自专栏AgenticAI

    实战微软新一代RAG:GraphRAG强大的全局理解能力,碾压朴素RAG

    微软近日开源了新一代RAG框架GraphRAG[1],以解决当前RAG在大型语料库上全局理解问题。 下图来自百度百科-王林词条[2]。本文将先首先概述RAG和GraphRAG,然后介绍如何安装、如何使用GraphRAG对《仙逆》进行索引和回答测试。 RAG概述 大语言模型(LLM)是在大量数据上训练,但他们并不是在我们私有数据上训练,因此要想让LLM能够回答我们私有数据集上的问题,我们就得使用一种叫做检索增强生成(RAG)的技术。 **这类问题需要查询聚焦摘要(Query focused summary)而不是像我们上述RAG系统那样显式检索,现有的QFS方法无法扩展到RAG系统索引的文本量。 2 GraphRAG安装与配置 由于GraphRAG刚开源,部署起来还有很多问题,所以本次采用源码安装测试,方便调试修改代码。

    1.1K10编辑于 2025-03-18
  • 来自专栏Datawhale专栏

    RAG 作者:RAG 已死,RAG 万岁!

    一个具有更大上下文窗口的新模型问世,社交媒体上便会充斥着“RAG 已死”的宣言。 该 LinkedIn 帖子: 一些值得注意的 RAG“死亡宣告”包括: 2023 年 5 月:Anthropic 的 Claude,上下文窗口达 10 万 token 2024 年 2 月:Google 底线是:您同时需要长上下文 LLM 和 RAG。 但既然“RAG”这个术语似乎如此具有争议性,那我们不妨这样说: 我们不必非得称之为 RAG。 我们可以就叫它 检索 (retrieval)。 RAG 提供了相当于直接翻到相关页面的能力。处理更多 token 不仅更慢,而且极其低效,并且比使用 RAG 精准定位所需信息要昂贵得多。 RAG、微调和大型上下文窗口在 AI 中也是如此。 结论 我们不需要在 RAG 与长上下文窗口、微调或 MCP 之间做出选择。

    70710编辑于 2025-04-24
  • 来自专栏全栈开发工程师

    RAG】001-RAG概述

    补充1:RAG 基本逻辑 补充2RAG 知识库基本逻辑 一、RAG 介绍 1、LLM 的主要局限性 大语言模型(LLM)尽管功能强大,但仍存在以下明显的局限性: 时效性问题:模型的知识在预训练后就固定了 ,无法自动更新最新信息 知识覆盖局限: 缺乏特定领域或私有领域的专业知识 对组织内部文档、数据等私域信息无法感知 幻觉问题:容易生成看似合理但实际错误的内容,影响可靠性 2RAG 的价值与优势 2RAG 的工作原理 RAG 的核心工作流程包含以下步骤: 知识库构建: 收集和处理文档资料 将文档切分为适当大小的文本块 使用向量化模型将文本转换为向量并存储 检索过程: 接收用户查询并向量化 直接修改模型权重 知识被固化在模型参数中 2、对比分析 2.1 实施成本 RAG: 初始投入低,主要成本在知识库建设 无需大规模计算资源 部署维护相对简单 Fine-tuning: 需要较高的计算资源 记录文档来源 提取时间戳信息 标注文档类型和主题 1.2 向量化处理 文本嵌入: 选择合适的嵌入模型 将文本块转换为向量 优化向量维度和质量 向量存储: 选择向量数据库 建立索引结构 设置检索参数 2

    75010编辑于 2025-03-25
  • 来自专栏架构驿站

    RAG 架构实战:Fixed-Size Chunking(固定切块) 解析

    在实际的业务场景中,基于固定大小切分(Fixed-Size Chunking) 策略具有较高的优势,具体体现在如下 2 点: 1、实现简易性与处理高效性 (Simplicity and Speed 2、高可预测性与数据统一性 (Predictability and Uniformity) 此外,该策略能够产生尺寸统一、格式一致的文本块。 第 2 个问题便是缺乏适应性与僵硬性 (Rigidity and Lack of Adaptability)。 ---") print(chunks_result[0]) else: print("\n--- 列表为空,无法打印第一个块 ---") # 尝试打印第二个块,先检查列表长度是否至少有2个元素 执行运行: (base) lugalee@labs rag % /opt/homebrew/bin/python3 /Volumes/home/rag/fixedsiz.py 原始文本被切分成了 2 个块

    39010编辑于 2025-05-25
  • 来自专栏机器学习原理

    rag

    RAG技术全面解析:原理、应用与优势 引言 在当今快速发展的人工智能领域,检索增强生成(Retrieval-Augmented Generation, RAG)技术已成为一个备受关注的话题。 RAG工作流程 RAG的工作流程可以分为以下几个步骤: 用户查询:用户提出一个查询,系统首先会将这个查询传递给检索模型。 RAG技术的应用场景 RAG技术在众多实际应用场景中显示出其独特的优势,这是其他单一技术难以比拟的。下面我们详细探讨RAG技术的几个主要应用场景。 RAG技术可以在知识图谱构建过程中发挥重要作用。通过利用检索模型从大规模文档库中找到最新的相关信息,RAG系统可以识别出新的实体和关系。 RAG技术的优势与挑战 RAG技术在很多方面展示了其显著的优势,但它也面临着一些挑战。以下我们将详细探讨RAG技术的优势和挑战。

    60511编辑于 2024-06-27
  • 来自专栏自然语言处理

    RAG Logger:RAG日志记录工具

    您听说过 RAG Logger 吗? 它是一款专为检索增强生成 (RAG) 应用程序设计的开源日志记录工具! 据说它可以作为 LangSmith 的轻量级替代方案,满足 RAG 特定的日志记录需求。 查询、搜索结果、LLM 交互和性能指标可以以 JSON 格式记录。 特点 通过查询跟踪详细了解用户问题! RAG Logger 为 RAG 应用程序的性能监控和调试提供了强大的支持,对吗? 特别推荐给那些想要提高应用程序开发效率的人。 请参阅此处的详细信息: RAG Logger GitHub 仓库

    31110编辑于 2025-01-07
领券