RAG 修炼手册｜如何评估 RAG 应用？

如果你是一名用户，拥有两个不同的 RAG 应用，如何评判哪个更好？对于开发者而言，如何定量迭代提升你的 RAG 应用的性能？ 显然，无论对于用户还是开发者而言，准确评估 RAG 应用的性能都十分重要。 当以黑盒方式来评估 RAG 应用时，我们看不到 RAG 应用的内部，只能从输入给 RAG 应用的信息和它返回的信息来评估 RAG 的效果。 我们使用这三个信息来评估 RAG 应用的效果，黑盒方式是一种端到端的评估方式，也比较适用于评估闭源的 RAG 应用。 当以白盒方式来评估 RAG 应用时，我们能看到 RAG 应用的内部所有流程。 白盒方式可以用来评估开源 RAG 应用，或者提升自研 RAG 应用。 02. 因此，GPT-4 与人类达到 80% 一致说明了 GPT-4 完全可以成为一名合格的 judge。

LangChain4j 标准 RAG 实战

LangChain4j - LangChain4j快速入门实战 2. LangChain4j - 多模态开发踩坑实录 3. LangChain4j - 系统提示词稳住AI 4. LangChain4j - 注解式AI服务实战 5. LangChain4j - 让AI不再失忆 6. LangChain4j - LangChain4j 结构化输出实战 7. LangChain4j - RAG落地实战 经过上一篇 LangChain4j - RAG落地实战, 已经了解了极简版 RAG，那么本篇呢，继续延续上篇内容开展。 标准版 RAG 下面来试试标准版 RAG 实现，为了更好的效果，我们需要： • 加载 Markdown 文档并按需切割 • Markdown 文档补充文件名信息 • 自定义 Embedding 模型 • api-key: <You API Key here> 新建 rag.RagConfig，编写 RAG 相关的代码，执行 RAG 的初始流程并返回一个定制的内容检索器 Bean： /**

langchain4j 之 Advanced RAG

langchain4j 中的 Advanced RAG 涉及到诸多策略，今天和大家聊一聊这里涉及到的一些策略。 30, TimeUnit.SECONDS, // 空闲30秒后缩减人员 new LinkedBlockingQueue<>(100) // 待处理包裹等候区容量100 ); // 应用到系统 with LangChain4j?") ; String answer = result.content(); List<Content> sources = result.sources(); 应用场景： 需要事后分析回答依据的审计场景 with LangChain4j?")

聊聊langchain4j的RAG

序本文主要研究一下langchain4j的RAG概述RAG(Retrieval-Augmented Generation)即检索增强生成，它通过检索来获取相关信息，注入到prompt，然后用增强的prompt 负责索引的代码也可以是一个独立的应用程序，专门处理索引任务。在某些情况下，终端用户可能希望上传自定义文档以使其能够被大型语言模型（LLM）访问。在这种情况下，索引应在线进行，并成为主应用程序的一部分。 Easy RAGpom.xml<dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-easy-rag RAG Flavors**LangChain4j offers three RAG flavors:* **Easy RAG:** The simplest, quickest way to get LangChain4j 提供了三种RAG（Retrieval-Augmented Generation，检索增强生成）的实现方式：Easy RAG、Naive RAG、Advanced RAG。

腾讯云DeepSeek开发RAG应用

4、 创建免费的工作空间分为通用工作空间和高性能工作空间，本次我们申请通用工作空间即可。 Ollama、DeepSeek-R1 1.5B、7B、8B、14B 及 32B 模型，选择空间规格按照需求建议选择DeepSeek 32B，适合高精度任务，如复杂推理、大规模知识库问答、专业领域内容生成和研究级应用 6 开始RAG实战前面我们看到开发环境已经ok了，后面直接实现一个基于deepseek的rag系统，该系统完全私有化部署，不使用任何云服务，支持对上传文件的检索。 (1) 创建一个rag目录存放代码cd rag(2) rag目录下创建data，上传测试tx文件Txt文件可以百度百科随便找一段复制内容，后面问里面的问题即可。 (3) 安装向量模型milkey/dmeta-embedding-zh:f16ollma pull milkey/dmeta-embedding-zh:f16(4) 创建一个虚拟的开发环境并激活环境名称为

LLM&RAG快速应用小册

LLM 与 RAG 的组合拳，其核心目标就是压缩这些“低价值工时”，让员工从繁琐的事务中解放出来，专注于战略、创新和决策。 通过 RAG，LLM 在回答任何问题时，都会先从这个私有知识库中检索最相关的信息，然后基于这些准确、实时的内部资料来生成回答。 AI 客服机器人： 基于 RAG 的 AI 客服，可以 24/7 不间断地回答客户关于产品使用、订单状态、售后政策的各类问题。 原本需要 10 个人的团队，现在可能只需要 3-4 人，人力成本大幅削减，同时客户满意度因响应速度和准确性的提升而显著提高。 结语：从“工具”到“战略”LLM 与 RAG 的应用，绝非简单地购买一个软件或部署一个模型。它是一项深刻的组织变革战略。

聊聊langchain4j的Naive RAG

序本文主要研究一下langchain4j的Naive RAG示例public class Naive_RAG_Example { /** * This example demonstrates 技术，Easy RAG使用了EmbeddingStoreIngestor来隐藏了文档解析、分割、嵌入、嵌入存储，Naive RAG亦可使用。 EmbeddingStoreContentRetrieverdev/langchain4j/rag/content/retriever/EmbeddingStoreContentRetriever.javapublic 小结langchain4j提供了EmbeddingStoreContentRetriever来开启Naive RAG的功能，EmbeddingStoreContentRetriever.builder( docNaive RAG

聊聊langchain4j的Advanced RAG

序本文主要研究一下langchain4j的Advanced RAG核心流程将UserMessage转换为一个原始的QueryQueryTransformer将原始的Query转换为多个Query每个Query *

* Advanced RAG in LangChain4j is described here: https://github.com/langchain4j/langchain4j DefaultQueryTransformerdev/langchain4j/rag/query/transformer/DefaultQueryTransformer.javapublic class ReRankingContentAggregatordev/langchain4j/rag/content/aggregator/ReRankingContentAggregator.javapublic ContentInjectordev/langchain4j/rag/content/injector/ContentInjector.java@Experimentalpublic interface

langchain4j 学习系列(5)-RAG

继续我们的langchain4j之旅，今天来看看RAG如何实现，“RAG萌宠新手盆友们”建议先看看B站大佬的视频RAG 工作机制详解—哔哩哔哩_bilibili，核心步骤就是下面这3张图： 最简单的RAG error: " + e.getMessage() + "\"}"); } } 略做解释： 为了简单起见， 这里分片我们略过，直接手动用二个句子，当成2个分片 使用langchang4j prompt_eval_count":11} 3、重排/生成 private interface Assistant { String chat(String userMessage); } /** * 基于RAG "" + e.getMessage() + "\"}"); } } 日志输出： 2025-12-03T21:06:00.218+08:00 INFO 16956 --- [langchain4j-study "done_reason":"stop","total_duration":1059949995,"prompt_eval_count":21,"eval_count":22} 从日志上看，先做了1次RAG

玩转RAG应用：如何选对Embedding模型？

在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。​那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？​ 语言支持： 多语言模型如 multilingal-e5-large 适合跨语言应用，而单语言模型可能在特定语言上表现更好。 推理时间： 如果你的应用场景对响应时间有高要求，需要选择在推理时速度较快的模型。 模型的可扩展性与易用性 ： 微调和更新的能力：对于一个不断迭代的RAG系统，选择一个能够轻松微调和持续更新的模型至关重要。 模型是否易于集成进现有的RAG架构？文档是否清晰？社区支持如何？

使用知识图谱实现 RAG 应用

《福布斯》最近将 RAG 应用程序评为人工智能领域最热门的事物。这并不奇怪，因为检索增强生成需要最少的代码，并有助于建立用户对大语言模型的信任。 构建出色的 RAG 应用程序或聊天机器人时面临的挑战是处理结构化文本和非结构化文本。 接下来，我们将演练一个场景，展示如何使用 LangChain 实现基于知识图谱的 RAG 应用程序来支持您的 DevOps 团队。该代码可在 GitHub 上获取。 您也可以通过下载 Neo4j Desktop 应用程序并创建本地数据库实例来设置 Neo4j 数据库的本地实例，同时需要安装 apoc 插件。本示例使用的本地 neo4j 环境。 开发 DevOps RAG 应用程序时，您可以从云服务、任务管理工具等获取信息。 将多个数据源组合成知识图谱 由于此类微服务和任务信息不公开，因此我们创建了一个综合数据集。

抓住风口，快速上手RAG应用开发！

2024年，大模型发展的脚步持续加快，你一定对 RAG（检索增强生成）有所耳闻，随大模型快速发展，RAG 作为一种新兴开发范式，能有效解决大模型的幻觉和知识停滞的问题，并已成为企业构建智能问答应用的最佳实践 3.4 更多开发人员控制权 借助 RAG，开发人员可以更高效地测试和改进他们的聊天应用程序。他们可以控制和更改 LLM 的信息来源，以适应不断变化的需求或跨职能使用。 组织可以更自信地为更广泛的应用程序实施生成式人工智能技术。 4 RAG的工作原理 如果没有 RAG，LLM 会接受用户输入，并根据它所接受训练的信息或它已经知道的信息创建响应。 腾讯云开发者社区携手腾讯云向量数据库团队与腾讯云安灯团队，联合推出**《RAG 七天入门训练营》，将从基础理论到实际应用**，由鹅厂大牛带你快速学习 RAG，助你轻松上手AI Plus，玩转高质量 RAG 应用！

聊聊langchain4j的核心RAG APIs

序本文主要研究一下langchain4j的核心RAG APIs核心RAG APIslangchain4j提供了一套丰富的API来构建自定义的RAG（检索增强生成）pipelines，从简单的到高级的都有涵盖 (langchain4j-document-parser-apache-pdfbox)、ApachePoiDocumentParser(langchain4j-document-parser-apache-poi 只有分数大于等于minScore 的嵌入才会被返回，默认值为0；Filter参数，在搜索过程中应用于元数据的过滤器，只有其元数据与过滤器匹配的TextSegments才会被返回，不过并不是所有的EmbeddingStore 提供了一套丰富的API来构建自定义的RAG（检索增强生成）pipelines，包括DocumentLoader、DocumentParser、DocumentTransformer、DocumentSplitter doccore-rag-apis

RAG 应用中的数据召回率及其应用的探讨

深入理解 RAG 应用中的数据召回率及其应用数据召回率是 RAG（Retrieval-Augmented Generation）应用中一个至关重要的性能指标，它衡量模型在检索阶段中成功找到相关数据的能力 召回率在 RAG 应用中的意义在 RAG 应用中，召回率的重要性主要体现在以下几个方面：信息完整性：高召回率有助于确保检索模块不会遗漏与问题高度相关的信息，从而为生成模块提供充分的上下文。 from sklearn.metrics import recall_score# 假设知识库中的文档 IDknowledge_base = ["doc1", "doc2", "doc3", "doc4" 提高召回率的策略在 RAG 应用中，提升召回率需要针对检索模块的架构和参数进行优化。 未来研究方向虽然提升召回率对 RAG 应用至关重要，但也需要在性能和成本之间寻找平衡点。一些未来研究方向包括：多模态检索：结合文本、图像和音频等多种数据类型，进一步提升召回率。

RAG流程优化（微调）的4个基本策略

通过使用一些优化策略，可以有效提升检索增强生成系统的性能和输出质量，使其在实际应用中能够更好地满足需求。 RAG简单回顾 RAG主要有两个过程。 4、提供模型的最后提示:制作有效提示以提高输出质量。 RAG的A/B测试 A/B测试可以比较每个组件具有不同配置的两个版本，确定哪个版本的性能更好。 = pd.DataFrame(rag_dataset) rag_eval_datset = Dataset.from_pandas(rag_df) # Return the lragas dataset return rag_eval_datset def get_metrics(rag_dataset): """ For a RAG Dataset 在提示中提供示例可以引导模型获得更准确和相关的输出，提示词的修改不涉及代码的改变，所以这里我们就不进行演示了 总结 优化检索增强生成(RAG是一个迭代过程，它在很大程度上取决于应用程序的特定数据和上下文

DLM 在RAG方面的应用研究

在RAG（检索增强生成）系统中，扩散语言模型（如ChatDLM）带来的并行迭代生成能力，能有效解决传统自回归模型的瓶颈，实现检索、整合、生成的深度协同。 其核心技术突破在于将原本应用于image generation领域的Diffusion Model（扩散模型） 范式成功迁移至text generation，并结合Mixture of Experts（ 在RAG系统中的Disruptive Application传统基于Autoregressive Models的RAG系统，其pipeline通常是Sequential（串行） 且Static（静态） ChatDLM的引入，为RAG带来了Dynamic（动态） 与Holistic（整体） 的范式转变，其核心作用体现在：Dynamic Retrieval-Generation Synergy（动态检索- Interactive Steering and Controlled Generation（交互式引导与可控生成）Diffusion模型的“白盒”迭代特性，为RAG系统提供了前所未有的Controllability

深入LLM与RAG 原理、实现与应用

大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 首先，LLM可以用于文本生成，可以生成连贯的段落、文章、对话等，可以应用于自动写作、机器翻译等任务中。其次，LLM可以用于问答系统，可以回答复杂的问题，甚至进行对话式问答。 此外，LLM还可以用于智能助理、机器人交互、自动摘要、信息提取等应用领域。总的来说，LLM在自然语言处理和人工智能领域都有很大的潜力，可以提供更加智能和自然的人机交互体验。 泛化：（Generalization）模型泛化是指一些模型可以应用（泛化）到其他场景，通常为采用迁移学习、微调等手段实现泛化。 在实际应用场景中准确率较低。五、早期预训练神经语言模型在探索大型语言模型（LLMs）的历史中，我们首先关注的是早期的预训练神经语言模型，它们可以视为现代LLMs的先驱。

使用RAGAs评估基于Milvus的RAG应用

现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。 在评估RAG时，我们需要分别评估两个组件以及它们的整体性能，以了解RAG是否仍然需要改进，以及需要在哪里改进。此外，为了评估RAG应用程序的性能是否正在改善，我们需要进行定量评估。 RAGAs还提供了端到端评估RAG管道的指标，例如答案语义相似性和答案正确性。本文重点介绍了组件级别指标。 使用RAGAs评估RAG应用 前提条件 安装所需的Python 包 #! 总结 构建一个RAG应用程序很容易，但将其性能投入生产使用则很困难。像机器学习项目一样，我们需要使用验证数据集和评估指标评估RAG应用的性能。 但是，由于RAG应用由多个组件组成，这些组件必须分别和组合地进行评估，因此我们需要一组评估指标。本文介绍了RAGAs评估框架。

Milvus × RAG助力快看漫画多业务应用

03.快看RAG技术探索和应用 以ChatGPT为代表的大语言模型（LLM）在自然语言理解和生成任务上，展现了前所未有的能力，但是大语言模型（LLM）在特定领域任务中，会出现信息延迟和幻觉现象，检索增强生成 （RAG）通过引用外部知识可以有效缓解这些问题，是LLM在工业领域应用的关键技术。 快看在大语言模型及RAG出现之后，迅速切入到以大语言模型为代表的技术领域，开始探索快看内部的应用场景，并在快看AI智能问答、IP角色互动两个场景取得了实质性进展，接下来以这两个场景为例，详细介绍下我们的技术方案 4.重排模块 Rerank重排模块还是很有必要的，重排和召回所关注的目标不一样，召回重点是在topk中能把真实相关的doc给捞出来，而重排则需要把真实相关的doc排在前面，同时减少topk的数量。 6.高级RAG 上面所说的算是一个比较标准的RAG流程，但是企业应用中的数据和用户query都是多种多样的，为了解决更复杂的业务case，我们做了一些改造，包括query转换、检索时机意图识别、Text2SQL

【AIGC】通过RAG架构LLM应用程序

toc在之前的博客文章中，我们已经描述了嵌入是如何工作的，以及RAG技术是什么。本节我们我们将使用 LangChain 库以及 RAG 和嵌入技术在 Python 中构建一个简单的 LLM 应用程序。 我们将使用 LangChain 库在 Python 中构建一个简单的 LLM 应用程序。LangChain是一个流行的库，它使构建这样的应用程序变得非常容易。 我们的 RAG 应用程序将使用私有数据扩展 LLM 的知识。在这种情况下，它将是一个包含一些文本的 PDF 文件。 在关于RAG的文章中对此进行了更详细的描述。 复制密钥并将其粘贴到 .env 文件中，如下所示：OPENAI_API_KEY=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让我们通过导入 load_dotenv