- 综合排序
- 最热优先
- 最新优先
- 来自专栏自然语言处理
5个开源RAG框架对比
还在为RAG应用开发头疼吗？别急，今天给大家推荐五款完全开源免费的RAG框架，覆盖自动优化、多模态处理、本地部署、生产环境支持等多种场景，助你轻松搞定RAG开发！ 1. 适用场景：适合需要优化RAG系统性能的开发者。 https://github.com/Marker-Inc-Korea/AutoRAG 2. R2R：多模态数据处理，全能选手 核心优势：本地化部署，支持多种数据格式，一站式解决！ https://github.com/SciPhi-AI/R2R 3. n8n AI 工具包：本地部署，隐私无忧 核心优势：完全本地化部署，数据安全有保障！ 适用场景：适合企业级应用部署，需要稳定可靠的RAG框架。 https://github.com/truefoundry/cognita 5.
3.9K11编辑于 2024-12-31 - 来自专栏AgenticAI
RAG新SOTA！港中深发布Graph-based RAG统一框架，深度评估现有Graph-based RAG框架！
然而，目前各种基于图的 RAG 方法缺乏统一框架，难以在相同实验环境下系统比较和深入分析。 研究贡献 1、创新统一框架：首次提出涵盖所有现有 Graph-based RAG 方法的统一框架，从高层次明确定义图构建、索引构建、操作符配置及检索生成四个关键步骤。 2、深入方法比较：在统一框架下，系统地评估和对比 12 种主流 Graph-based RAG 算法，详细分析每种方法的优势与局限性。 研究与实验方法 本文提出一个全新的统一框架，将基于图的 RAG 方法划分为图构建、索引构建、操作符配置及检索与生成四个核心阶段，以实现对现有方法的系统比较与深入分析。 2、索引构建阶段主要构建节点、关系和社区三类索引，以支持高效在线检索。所有节点和关系索引均利用先进文本编码模型 BGE-M3 生成嵌入向量，社区索引则通过聚类算法生成社区报告。
42400编辑于 2025-03-18 - 来自专栏JadePeng的技术博客
知识图谱增强的KG-RAG框架
/KG_RAG），该框架利用生物医学知识图谱SPOKE与大型语言模型相结合，有效的提升了LLM在医疗领域的问答效果。 KG-RAG框架介绍 KG-RAG框架，较好的结合了生物医学知识图谱SPOKE和LLM的优势。 研究人员对KG-RAG框架进行了广泛的测试，包括单跳和双跳提示、药物再利用查询、生物医学真假问题和多项选择题。 文本生成：使用LLM（如Llama-2-13b、GPT-3.5-Turbo或GPT-4）生成有意义的生物医学文本。 实体识别 区别于用小模型去做NER，KG-RAG里使用LLM识别实体。 1. 在其他领域如何去应用KG做RAG，一方面可以扩展该框架，另外一方面，也要结合自己的实际场景去定制具体的策略。
2.5K10编辑于 2024-04-12 - 来自专栏自然语言处理
【RAG入门教程03】Langchian框架-文档加载
这个也是在后续开发框架的过程中，我们可以选取langchian的document作为处理对象，但是文件解析需要自己去写和实现。 page_content='Name: Charlie\nAge: 35\nCity: Chicago', metadata={'source': 'sample_data.csv', 'row': 2} 0 2\n\nb e F 7\n\n]\n\nG A . h t a m\n\n[\n\n1 v 3 0 8 3 0 . 2 0 3 2 : v i X r a\n\nA WEAK (k, k)-LEFSCHETZ import PyPDFium2Loader loader = PyPDFium2Loader("ticket.pdf") data = loader.load() # PDFMinerLoader from langchain_community.document_loaders import Docx2txtLoader loader = Docx2txtLoader("example_data
97910编辑于 2024-06-10 - 来自专栏自然语言处理
【RAG入门教程05】Langchian框架-Vector Stores
', ) ] embedding_path = r'H:\pretrained_models\bert\english\paraphrase-multilingual-mpnet-base-v2'
1K10编辑于 2024-06-10 - 来自专栏DeepHub IMBA
UniMS-RAG:用于个性化对话的统一多源RAG框架
RAG领域已经取得了相当大的发展，这篇论文的是如何分解RAG过程，加入多文件检索、记忆和个人信息等定制化的元素。 使用RAG的一个优点是其实现的简单。但是在agenic RAG、多文档搜索和添加会话历史等方面，还需要很多的手动工作。代理RAG是将代理层次结构与RAG实现相结合的地方，这会带来很大的复杂性。 2、个性化与情境 个性化和通过会话历史维护上下文是优秀用户体验的重要元素。UniMS-RAG会对这些元素进行优先排序。 UniMS-RAG框架 UniMS-RAG统一了计划、检索和阅读任务的训练过程，并将它们集成到一个综合框架中。 提出的统一多源检索-增强对话系统(UniMS-RAG)使用大型语言模型(llm)同时作为计划者、检索者和读者。 这个框架在推理过程中还引入了自改进，使用一致性和相似性分数来改进响应。
57610编辑于 2024-02-01 - 来自专栏DeepHub IMBA
BookRAG：面向层级文档的树-图融合RAG框架
第一种是文本优先方法，将所有内容扁平化为纯文本，主要依赖OCR，再用BM25、经典分块RAG或GraphRAG、RAPTOR等图方法完成检索。 大多数RAG管道依赖固定的查询处理流程，简单问题处理起来效率低，复杂问题又应对不了。 所以多数现有的文档级RAG系统要么忽略文档的层级结构，要么缺乏查询感知的检索流程。 BookRAG：一棵树 + 一张图 + 一个链接 + 一个Agent Figure 2: Comparison of representative methods and BookRAG. BookRAG是一个专为层级结构文档设计的RAG框架。 整个框架由三个关键组件构成。 构建BookIndex BookIndex在一个统一索引中同时容纳结构和语义。
22010编辑于 2026-03-31 - 来自专栏自然语言处理
【RAG入门必备技能】Faiss框架使用与FaissRetriever实现
提供了高效且可靠的相似性聚类和检索方法，可支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库 官方资源地址https://github.com/facebookresearch/faiss Faiss基础依赖 1）矩阵计算框架 ：Faiss与计算资源之间需要一个外部依赖框架，这个框架是一个矩阵计算框架，官方默认配置安装的是OpenBlas，另外也可以用Intel的MKL，相比于OpenBlas使用MKL作为框架进行编译可以提高一定的稳定性 2）查找向量对应的中心点 3）向量减去对应的中心点生成残差向量 4）针对残差向量生成二级量化器。 使用方法 Faiss是为稠密向量提供高效相似度搜索的框架(Facebook AI Research），选择索引方式是faiss的核心内容，faiss 三个最常用的索引是：IndexFlatL2, IndexIVFFlat IndexFlatL2/ IndexFlatIP为最基础的精确查找。
5K20编辑于 2024-06-06 - 来自专栏Datawhale专栏
RAG 作者：RAG 已死，RAG 万岁！
该 LinkedIn 帖子： 一些值得注意的 RAG“死亡宣告”包括： 2023 年 5 月：Anthropic 的 Claude，上下文窗口达 10 万 token 2024 年 2 月：Google 底线是：您同时需要长上下文 LLM 和 RAG。 但既然“RAG”这个术语似乎如此具有争议性，那我们不妨这样说： 我们不必非得称之为 RAG。 我们可以就叫它 检索 (retrieval)。 RAG 提供了相当于直接翻到相关页面的能力。处理更多 token 不仅更慢，而且极其低效，并且比使用 RAG 精准定位所需信息要昂贵得多。 警惕错误的二分法 在谷歌搜索“RAG vs”，你会看到一长串建议的查询补全——“长上下文”、“微调”、“MCP”。这种框架设定制造了一种人为的选择，并没有反映这些技术实际上如何协同工作的最佳方式。 RAG、微调和大型上下文窗口在 AI 中也是如此。 结论 我们不需要在 RAG 与长上下文窗口、微调或 MCP 之间做出选择。
75510编辑于 2025-04-24 - 来自专栏全栈开发工程师
【RAG】001-RAG概述
补充1：RAG 基本逻辑 补充2：RAG 知识库基本逻辑 一、RAG 介绍 1、LLM 的主要局限性 大语言模型（LLM）尽管功能强大，但仍存在以下明显的局限性： 时效性问题：模型的知识在预训练后就固定了 ，无法自动更新最新信息 知识覆盖局限： 缺乏特定领域或私有领域的专业知识 对组织内部文档、数据等私域信息无法感知 幻觉问题：容易生成看似合理但实际错误的内容，影响可靠性 2、RAG 的价值与优势 2、RAG 的工作原理 RAG 的核心工作流程包含以下步骤： 知识库构建： 收集和处理文档资料 将文档切分为适当大小的文本块 使用向量化模型将文本转换为向量并存储 检索过程： 接收用户查询并向量化 直接修改模型权重 知识被固化在模型参数中 2、对比分析 2.1 实施成本 RAG： 初始投入低，主要成本在知识库建设 无需大规模计算资源 部署维护相对简单 Fine-tuning： 需要较高的计算资源 记录文档来源 提取时间戳信息 标注文档类型和主题 1.2 向量化处理 文本嵌入： 选择合适的嵌入模型 将文本块转换为向量 优化向量维度和质量 向量存储： 选择向量数据库 建立索引结构 设置检索参数 2、
79710编辑于 2025-03-25 - 来自专栏DeepHub IMBA
FaaF:为RAG系统量身定制的事实召回评估框架
在RAG系统中实际的事实召回评估可能存在以下问题: 在低质量生成的文本中自动验证真实的、独立的陈述和模拟低质量的检索增强生成(RAG)场景并没有得到太多的关注。 RAG系统涉及许多组件，例如知识库、检索、提示公式和语言模型，这些都需要大量的调优。因此效率对实际执行至关重要。 Facts As A Function faaf是一个为RAG系统量身定制的事实召回评估框架，它可以用来创建一个测试数据集，并执行自动的事实召回评估。 评估数据是通过真实事实和人工注释来增强的。 WikiEval的特点是问题和答案对，答案具有可变的事实质量，可以模拟有缺陷的RAG反应。 然后测试RAG的假设反应(在这种情况下，无根据的答案和糟糕的答案)对提取的事实的召回。 依靠提示来验证事实往往会高估陈述的真实性，尤其是在文本缺乏重要信息的情况下。
39210编辑于 2024-04-15 - 来自专栏AgenticAI
深度测评 RAG 应用评估框架：指标最全面的 RAGas
本文介绍一个全自动化的 rag 应用评估框架 ragas。 然后就是使用 ragas 框架的 API 来生成测试集了，首先初始化测试集生成器。 比如将答案拆分为 3 个 claims，然后从 context 中判断有几个可以推断出来，假设为 2，那么忠实性就是 2/3。它需要回答和上下文。 如果你想深入RAG也可以考虑购买这本《大模型RAG实战》，更为系统地学习。 参考资料 [1] RAGas（RAG Assessment): https://docs.ragas.io/en/stable/ [2] Evol-Instruct: https://arxiv.org
5.6K12编辑于 2025-03-18 - 来自专栏AgenticAI
蚂蚁开源新RAG框架KAG，可达91%准确率
看这篇就够了》，本文探一探蚂蚁开源的另外一套知识增强生成框架 KAG（Knowledge Augmented Generation），专门用于构建垂直领域知识库的逻辑推理问答框架，论文中提到在电子政务达到了 KAG 简介 KAG 可以有效克服传统 RAG 向量相似度计算的歧义性和 OpenIE 引入的 GraphRAG 的噪声问题，支持逻辑推理、多跳事实问答等。 2. 3.2 开发者模式 即使是开发者模型，也仍然需要安装刚才的 Docker Compose，其中启动了一些依赖服务，KAG 框架并不包含前端或者服务端的代码。 编写 Solver 客户端代码 我们同样需要参考官方文档 Solver[2]编写 Solver，然后执行python ./solver/evalForKagDemo.py。 4.
3.4K00编辑于 2025-03-18 - 来自专栏唐国梁Tommy
Self-RAG 框架：更精准的信息检索与生成
优势-2：SELF-RAG进一步提供了一个可定制的解码算法，满足由反思token预测定义的硬或软约束。 在开放领域QA、推理和事实验证任务上，SELF-RAG表现优于ChatGPT和检索增强的Llama2-chat。 Self-RAG 核心算法 SELF-RAG是一个增强语言模型质量和事实性的框架，通过检索和自我反思实现，而不损失原始创造性和多功能性。 该框架使模型可以根据检索到的段落生成文本，并使用“反思tokens”自我评估输出的相关性和完整性。 与普通的RAG方法不同，SELF-RAG更加选择性地进行检索，确保从引用源获得完整支持。 此外，框架还允许设定一个阈值。 （2）如果生成的token是 Retrieve=Yes， 且在所有输出tokens中的标准化值超过了指定的阈值，则触发检索。
4.5K40编辑于 2023-11-09 - 来自专栏机器学习原理
rag
RAG技术全面解析：原理、应用与优势 引言 在当今快速发展的人工智能领域，检索增强生成（Retrieval-Augmented Generation, RAG）技术已成为一个备受关注的话题。 RAG工作流程 RAG的工作流程可以分为以下几个步骤： 用户查询：用户提出一个查询，系统首先会将这个查询传递给检索模型。 RAG技术的应用场景 RAG技术在众多实际应用场景中显示出其独特的优势，这是其他单一技术难以比拟的。下面我们详细探讨RAG技术的几个主要应用场景。 RAG技术可以在知识图谱构建过程中发挥重要作用。通过利用检索模型从大规模文档库中找到最新的相关信息，RAG系统可以识别出新的实体和关系。 RAG技术的优势与挑战 RAG技术在很多方面展示了其显著的优势，但它也面临着一些挑战。以下我们将详细探讨RAG技术的优势和挑战。
63111编辑于 2024-06-27 - 来自专栏自然语言处理
RAG Logger：RAG日志记录工具
您听说过 RAG Logger 吗？ 它是一款专为检索增强生成 (RAG) 应用程序设计的开源日志记录工具！ 据说它可以作为 LangSmith 的轻量级替代方案，满足 RAG 特定的日志记录需求。 查询、搜索结果、LLM 交互和性能指标可以以 JSON 格式记录。 特点 通过查询跟踪详细了解用户问题！ RAG Logger 为 RAG 应用程序的性能监控和调试提供了强大的支持，对吗？ 特别推荐给那些想要提高应用程序开发效率的人。 请参阅此处的详细信息： RAG Logger GitHub 仓库
32910编辑于 2025-01-07 - 来自专栏全栈程序员必看
flask框架2_flask框架介绍
flask框架2 文章目录 flask框架2 一. 状态保持 1. Session细节 二. 高级处理 1. 上下文 2. 请求勾子 3. Flask( )参数 2. Flask应用配置 四. 脚本启动 五. 模板 1. 模板变量的基本使用 (重点) 2. 过滤器 一. 状态保持 1. ): # print(g.name) # 会报错 return "demo1" 上下文底层实现 https://segmentfault.com/a/1190000009152655 2. print(type(user_id)) return "user" # 部分转换器可以传递参数, 以便设置更灵活格式要求 @app.route('/news/<string(minlength=2, label>
{# 支持自定义对象 #} <label>{ { user.is_login() }}</label>
{# 支持函数和方法调用 #} </body> 2.1K40编辑于 2022-09-27 - 来自专栏数据派THU
独家 | 进阶RAG-提升RAG效果
目标 我们的目标是通过对不同部分应用各种技术来增强RAG工作流的每个组件能力。 2. Pre-Retrieval优化 Pre-retrieval技术包括提高索引数据的质量和块优化。 数据清洗在RAG框架中起着至关重要的作用。RAG的效果取决于数据清洗和组织的好坏。删除不必要的信息，如特殊字符、不需要的元数据或文本。 删除不相关的文本/文档：删除所有不需要LLM来回答的不相关文档。 2. 它专注于为每一个子文档创建嵌入，这些嵌入比每一个完整的父块嵌入更丰富、更详细。它帮助框架识别包含与用户查询相关信息的最相关子文档。 3. 框架现在可以访问整个父文档，而不是仅仅依赖于子文档的内容。 5. 句子窗口检索 这种分块技术与上面的非常相似。 Hyde或Query2doc Hyde和Query2doc都是类似的查询重写优化。
1.6K20编辑于 2024-06-28 - 来自专栏学习笔记ol
框架分析（2）-React
框架分析（2）-React 主要对目前市面上常见的框架进行分析和总结，希望有兴趣的小伙伴们可以看一下，会持续更新的。希望各位可以监督我，我们一起学习进步。 同时，React还与其他流行的库和框架（如Redux、React Router等）兼容，可以与它们无缝集成。 2、组件化开发 React鼓励开发者将应用程序拆分成多个可重用的组件。每个组件都有自己的状态和属性，可以独立地进行开发、测试和维护。 开发者需要掌握JSX语法、组件生命周期、状态管理等概念和技术，以便能够正确地使用和理解框架。 2、生态系统的快速变化 React的生态系统和社区在不断发展和变化，新的库和工具不断涌现。 这意味着开发者需要自行选择和集成其他库或框架来处理路由、状态管理、构建和部署等方面的问题。对于一些初学者来说，这可能会增加一些困惑和学习成本。
37530编辑于 2023-10-11 - 来自专栏江湖安得便相忘
Swoft 2 框架概览
最近在工作中使用到了一款swoole的衍生框架 Swoft ，虽然会有一些小毛病，但整体上还是不错的，安利一下，说不定就用上了呢？ 文章结尾里面有重点噢！ 简介： Swoft 是一款基于 Swoole 扩展实现的 PHP 微服务协程框架。Swoft 能像 Go 一样，内置协程网络服务器及常用的协程客户端且常驻内存，不依赖传统的 PHP-FPM。 有类似 Go 语言的协程操作方式，有类似 Spring Cloud 框架灵活的注解、强大的全局依赖注入容器、完善的服务治理、灵活强大的 AOP、标准的 PSR 规范实现等等。
1.4K20发布于 2019-09-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号