- 综合排序
- 最热优先
- 最新优先
- 来自专栏铭毅天下
干货 | 知识库全文检索的最佳实践
2、知识库全文检索问题抛出 重新审视一个停滞不前的项目，并寻求建议，对数千个“旧”文档进行现代化改造， 最终期望效果：通过网络访问这些文档。 3、精彩回复 我将推荐ElasticSearch，我们先解决这个问题并讨论如何实现它： 这有几个部分： 从文档中提取文本以使它们可以索引（indexable），以备检索； 以全文搜索形式提供此文本； 3.2、检索部分 现在进行搜索。 你如何做到这一点取决于你想如何展示你的结果 按页面page分组， 按文档doc分组。 通过页面的结果很容易。 18 } 19 }, 20 "size" : 1 21} 或者，给“页面”文档提供一个由$ doc_id _ $ page_num（例如123_2）组成的ID，然后您可以通过如下的检索获取该页面
2.5K10发布于 2018-07-26 - 来自专栏用户6296428的专栏
知识库检索匹配的服务化实践
作者：极简风 部门：数据中台 一、背景 知识库是企业经营过程中的面向客户和内部员工的知识沉淀文档库，里面包含各类教程、问答、案例等，知识库的检索匹配是自然语言处理(NLP)中一个重要的基础问题，本质是进行文本语义的相似计算 ，也就是语义匹配，我们很多领域的任务都可以抽象为知识库的匹配检索任务，例如检索引擎、智能客服、知识检索、信息推荐等领域。 知识库检索匹配可以概述为：给定一个query和大量候选知识库的文档，从这些文档中找出与用户输入query最匹配的TopK个文档。 ，左右塔的结构分离但编码器参数共享，双塔结构天然的可以用于召回，将这个模型部署到小盒子就可以在线计算检索词的向量，将海量的知识库文档作为右塔离线训练成文本向量后刷入向量检索工具Milvus。 在知识库检索匹配服务化实践过程中，后续值得关注以下几点： 1）对于知识库中低频或缺失的新文档或新商品的Embedding学习还不够充分，可考虑利用图结算法结构，把更多query和其他属性的语义信息聚合，
1.9K40编辑于 2022-12-12 - 来自专栏铭毅天下
实战 | Elasticsearch打造知识库检索系统
题记 源自“死磕Elasticsearch”技术群里的讨论问题： ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件，这个你之前有试过吗？能给个方向吗？ 问题转嫁为：如何将Office类文档、PDF文档导入ES建立索引，并提供全文检索服务？ 2、Elasticsearch支持的最大待检索字段的长度是多大？ 设置ignore_above后，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。 5、小结 从功能和性能角度考量，建立知识库的建议如下： 1）知识库的核心是数据导入ES，导入ES的核心是各种类型文档的解析； 2）提前设定Mapping，定义好字段分词、不分词的策略； 3）对于大于
3.8K70发布于 2018-03-20 向量检索+NLU：AI知识库高效检索的核心逻辑与实操
在技术研发与团队协作的日常中，知识沉淀始终是绕不开的核心命题——碎片化的文档散落在不同平台、检索时陷入“关键词陷阱”、撰写技术文档耗时费力、跨平台协作效率低下，这些痛点困扰着无数开发者与团队。 而语义化AI问答和向量检索式AI搜索，则从根本上解决了传统知识库的关键词检索瓶颈，传统基于倒排索引的搜索方式常出现“搜不到”“搜不准”的情况，比如查询“如何解决HTTP接口调用超时的服务端问题”，关键词搜索仅能返回含 实操中还可利用其批量离线文件导入接口，将过往散落的Word、PDF、MD格式文档一次性批量迁入知识库，结合系统的内容结构化解析能力完成文档格式归一化，大幅降低知识库初期的内容迁移成本。 现阶段新员工可通过AI问答快速检索学习产品核心功能与技术架构，上手时间从原本的一周缩短至两天；售后与技术支持同事从重复的基础问题解答中解放，专注于复杂问题处理，团队整体工作效率提升超40%。 整体用下来，系统的核心价值在于将复杂的大模型技术做了低代码的工程化落地，基于轻量化的开源架构，让普通开发者和中小团队能快速搭建私有化的智能化知识库，其所有功能模块均围绕知识管理的创作、存储、检索、集成、
19210编辑于 2026-02-28- 来自专栏Lcry个人博客
RAGFlow 开源检索增强 AI 知识库部署教程
介绍 RAGFlow 是一个领先的开源检索增强生成（RAG）引擎，将前沿的 RAG 与代理能力融合，为大型语言模型创建了更优越的上下文层。它提供了一套精简的 RAG 工作流程，适用于任何规模的企业。 数据源也可以根据实际添加，可以使用 S3 协议自建 minio 或者 rustfs 初体验 知识库 创建一个知识库，上传一些文档试试。 聊天 创建一个聊天助手，配置引用知识库，然后进行问答。 搜索 搜索可以选择多个知识库进行检索，支持 AI 总结以及引用原文。 总结 本文通过docker 一键部署 ragflow，并且体验了简单的功能， 整个使用下来存在很多卡顿的问题，在知识库的文档解析的时候一直卡住不动重启才恢复正常，不愧是issues 还有一大堆没修改，解析的方式强是强 ，传说中做知识库属它最牛逼，但是使用体验下来真的就是资源占用太大了，对准确率高的资源不在乎的可以尝试配置学习试试，这个也通过和 dify 结合进行使用，网上有相关教程可以参考，将 ragflow 直接外挂给
84810编辑于 2026-01-09 检索增强生成（RAG）：大模型的‘外挂知识库
语义理解：提取输入的语义信息，以便后续检索。 （2）检索相关文档 系统使用检索模型从外部知识库中查找与输入最相关的文档或段落。 知识库：可以是维基百科、专业数据库或其他结构化/非结构化文档集合。 检索过程： 将用户输入的向量表示与知识库中的文档向量进行相似度计算。 （3）知识库 规模：知识库越大，检索到的相关文档可能越多，但计算成本也会增加。 质量：知识库的内容质量直接影响生成结果的可信度。 动态更新：知识库需要定期更新，以保持信息的时效性。 知识库依赖性强 知识库质量决定性能：如果知识库不完整、过时或质量差，检索到的文档可能不准确，从而影响生成结果。 知识库更新成本：保持知识库的时效性需要定期更新和维护，增加了系统运营成本。 3. 知识库规模限制 大规模知识库的存储和检索：随着知识库规模的增大，存储和检索的开销也会显著增加，可能影响系统性能。 小规模知识库的局限性：如果知识库规模较小，可能无法覆盖用户的所有查询需求。
1.4K10编辑于 2025-05-31检索增强生成（RAG）在开源知识库中的实践应用
传统知识库存在非结构化数据治理缺失、知识链路断裂、语义检索不足、跨系统协同壁垒高四大痛点，制约知识资产激活。 （二）RAG增强的AI原生内核：全链路智能化知识处理能力采用AI原生架构，将检索增强生成（RAG）深度融入全流程，构建AI创作、问答、搜索三位一体能力，解决「人找知识」痛点。 内置知识切片分块模块，对接向量数据库实现高效检索；AI创作依托Prompt工程模板降本提效，AI搜索采用混合检索架构提升精准度，AI问答支持多轮推理与溯源。 内置内容降噪去重模块与增量同步机制，自动提取元数据与标签，为知识图谱构建和语义检索提供支撑。 （二）基于AI原生开源知识库的定制化落地架构基于AI原生开源知识库进行轻量化适配，实现OT与IT知识融合管理，核心架构：1.
27611编辑于 2026-03-12TextIn文档树引擎，助力RAG知识库问答检索召回能力提升
简单来说，当AI对长文档进行检索与理解，清晰的标题及层级识别，能帮助机器快速读取全文的逻辑结构，并锚定我们希望查找或归纳的信息位置。 RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型，模型才能生成可靠有用的内容。 良好的分块能够减少计算资源的消耗，提高检索效率，并提升生成质量。常见的Chunking方式包括以下几种：1、固定长度切分：将文本按固定长度进行切分，例如每1000或2000个字符切分为一个块。 但如果句子过长，可能丢失一些细节，或由于切分不准确影响检索效果。3、滑动窗口切分：创建一个重叠的滑动窗口，比如设置窗口大小为500，步长为100。 目前，TextIn文档解析工具已在RAG知识库问答中发挥重要功能，文档树引擎在年报、财报、行研报告等金融文件领域展现了较为明显的优势。
64910编辑于 2024-08-13- 来自专栏AI大模型
Spring AI 进阶：RAG 技术原理拆解与本地知识库检索落地
在 AI 应用开发中，大模型常面临 “知识过期”“不懂私有数据” 的痛点，而检索增强生成（RAG）技术正是解决这一问题的核心方案。RAG 能够将大模型与私有知识库结合，让生成的回答更准确、更具针对性。 本文将深入拆解 RAG 的技术原理、核心流程，重点讲解其与 Embedding 技术的协同逻辑，并结合智普 AI 实现本地知识库检索的完整实操，帮助大家掌握 Spring AI 中 RAG 模块的开发精髓 它通过在大模型生成回答前，从外部知识库中检索与用户问题相关的信息，并将这些信息作为上下文传递给大模型，从而让大模型基于外部知识生成更准确、更可靠的回答。 “检索增强”，只能依赖大模型的原生知识库。 四、实操案例：RAG 本地知识库检索完整实现 本案例将实现 RAG 的全流程：加载本地知识库并向量化、接收用户问题并检索相似文本、结合上下文生成回答。 1.
1.3K21编辑于 2026-01-14 - 来自专栏AI
Dify Chatflow 构建智能问答系统：知识库检索 + 视觉识别双通道实战
知识检索前置的好处是，即使用户上传了文件，也可以结合知识库内容进行更智能的分析。 知识检索节点用户输入之后，紧接着就是知识检索节点。这里的设计思路是：无论用户是否上传文件，都先进行一次知识库检索，为后续的 LLM 提供参考上下文。 配置要点：查询变量：设置为 sys.query，即用户输入的文字内容知识库：选择预先创建好的知识库召回设置：推荐使用「高质量」+「混合检索」模式知识检索节点的输出变量是 result，类型为 Array 知识库检索结果为空确认知识库已正确导入文档，且文档已完成向量化索引。可以在知识库管理页面查看文档状态。 这种「检索前置 + 条件路由」的设计既保证了知识库的利用率，又能灵活支持多模态输入。
4.2K62编辑于 2025-12-10 RAG革命：检索增强生成如何重塑企业知识库，告别“幻觉”时代
#RAG革命：检索增强生成如何重塑企业知识库，告别“幻觉”时代摘要本文深度解析检索增强生成（RAG）技术如何解决大语言模型的“幻觉”问题，重塑企业知识库系统。 读者将掌握：RAG系统搭建方法论、企业知识库冷启动技巧、幻觉监控指标体系，以及医疗/金融行业实战案例。 事后排查发现，知识库更新滞后+模型过度自信导致致命“幻觉”。 >F[事实性校验]核心创新点：动态知识注入：实时检索最新知识库文档生成约束：强制模型仅使用检索内容作答置信度监控：输出附证据来源及置信分数与传统微调对比：RAG避免模型“死记硬背”，知识更新无需重新训练 2.2企业知识库痛点全景传统知识库面临三重困境：痛点类型具体表现RAG解决方案数据时效政策文件更新延迟⚠️实时向量检索权限隔离财务数据全员可见❌多租户向量空间隔离✅冷启动新领域知识训练耗时⏳零样本快速接入
25510编辑于 2026-02-27- 来自专栏NLP/KG
Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答 QAnything (Question and Answer based on Anything ) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。 支持选择多知识库问答。 架构 1.两阶段检索优势 知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长 QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异， 从而实现： 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标
2.3K20编辑于 2024-01-24 - 来自专栏网络安全技术点滴分享
检索增强生成(RAG)入门指南：构建知识库与LLM协同系统
检索增强生成(RAG)初学者指南大语言模型(LLM)使我们能够高效、可靠且快速地处理大量文本数据。 过去两年最流行的应用场景之一就是检索增强生成(Retrieval-Augmented Generation, RAG)。 RAG允许我们获取若干文档(从几个到数十万个)，创建文档知识库，然后进行查询并基于文档获得带有相关来源的答案。相比需要耗时数小时甚至数天的手动搜索，我们只需几秒延迟就能让LLM完成搜索。 distances.append((doc_id, dist)) distances.sort(key=lambda x: x[1]) return distances[:top_k]最后使用GPT-4o基于检索到的文档生成答案
1.4K10编辑于 2025-08-18 - 来自专栏YO大数据
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
这样的向量可以代表图像的内容、风格、色彩等信息，从而用于图像识别、分类或检索任务。 结果存储 嵌入向量生成后，需要将它们存储起来以便于后续的检索和分析。 整体实战代码 文本检索匹配 import time from typing import List import os import pandas as pd # 导入 tiktoken 库。 model="text-embedding-ada-002" # 选择一个合适的模型，如ada ) print("测试数据：",response.data[0].embedding) 结果 最终检索到匹配度前三的文本向量 后续会使用到向量数据库 完成知识库的搭建 欢迎小伙伴们 点赞、收藏⭐、留言 有问题可以咨询主页
13.6K21编辑于 2024-05-25 向量检索与NLP赋能：开源知识库的技术核心与应用场景
传统知识库存在的内容分散、检索低效、创作成本高、集成性弱等痛点，成为制约知识流转与价值发挥的重要因素。 此类AI大模型驱动的开源知识库系统，基于AGPL-3.0开源协议开发，依托大模型微调适配、向量数据库检索、RESTful API接口等核心技术，凭借智能化功能、灵活的拓展能力与轻量化的部署体验，为不同组织框架下的企业知识管理提供了全新的解决方案 （四）AI检索与问答：实现组织内的“知识找人”传统关键词检索模式往往存在“检索结果与需求匹配度低”的问题，而此类开源知识库的AI语义检索基于向量数据库（如Milvus、Chroma）、BERT语义模型， 针对集团型企业跨子公司、跨部门的知识查询需求，AI可通过跨库向量检索、分布式查询，打破组织边界，整合全集团的相关知识；针对事业部制企业各业务线的专业知识查询需求，AI可通过领域知识库微调，精准匹配业务线专属知识 （三）事业部制框架下的落地成效该企业的使用数据显示，部署该开源知识库后，基于向量检索的高效性，跨事业部知识查询的平均时间从原来的20分钟缩短至1分钟内，研发、生产、售后三大事业部的协作效率提升70%；生产事业部的工艺失误率因精准获取研发资料下降
18710编辑于 2026-03-11- 来自专栏大数据杂货铺
全文检索、向量检索和混合检索的比较分析
全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。 Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。
6.1K10编辑于 2024-04-24 - 来自专栏啦啦啦啦前端
信息检索格式 布尔检索式
信息检索格式 布尔检索式 名称 符号 表达式 功能 逻辑与 * 或and AB 同时含 有提问词A和B的文献，为命中文献 逻辑或 + 或or A+B 凡是含有提问词A或B的文献，为命中文献 逻辑非
1.5K40编辑于 2023-02-11 - 来自专栏算法与编程之美
网页|高级检索与专业检索
1、高级检索 高级检索也称命令检索，是相对于基本检索而言，高级检索可以让你使用多于基本检索的标准来精炼检索，使检索信息更加详细，搜索出的结果可用性也更大。 ? 图1.1 百度高级检索示例图 ? 图1.2 知网高级检索示例图 使用高级检索可以直接根据示例图所示，搞清楚查找资料的关系后，然后根据高级检索的相关内容直接输入逻辑关系搜索从而精确搜索信息。 图1.3 知网高级检索示例图2 2、专业检索 专业检索就是运用检索表达式实现的检索方式。这种检索方式可以让通过运用检索字段精确检索需要的内容。 ? 图2.1 知网专业检索示例图 百度专业检索直接在搜索框输入检索式即可。 图2.4 示例2检索结果 结语 运用高级检索和专业检索可以让搜索更加详细。
4.2K20发布于 2020-07-16 - 来自专栏AI研思录
颠覆传统检索：RAPTOR检索树提升检索准确率20%！
然而，现有的检索增强方只能检索几个简短的、连续的文本块，这对于需要整合文本多个部分的知识的问题是不够的，限制了它们表示和利用大规模语义结构的能力。 这篇文章提出了一种新颖的方法——检索树，即考虑了广泛的主题理解，也考虑了细粒度的细节信息。 在推理时，使用RAPTOR模型从这棵树中进行检索，在不同抽象层次上整合信息，以跨越较长文档进行理解。 采用递归聚类和汇总技术，RAPTOR创建了一个分层树结构，能够跨检索语料库的各个部分综合信息。在查询阶段，RAPTOR 利用此树结构进行更有效的检索。 实验表明，使用递归总结的检索方法在多个任务上相较于传统的检索增强语言模型提供了显著的改进。在涉及复杂、多步骤推理的问题解答任务中，展示了最优的结果。
71210编辑于 2025-02-20 OpenClaw 知识库优化实战：如何利用轻量云实现秒级检索与降本增效
咱们先看个真实场景：某电商平台接入 AI 客服后，用户提问“退货流程是什么”，系统在知识库里检索，3分钟后才给出答案——这时用户早就关掉对话框了。 这不是个例。 传统知识库部署在自建服务器上，面临三个死循环： 响应慢：数据检索依赖单机算力，高峰期平均响应时间超过 3分钟，用户体验崩盘。 真正踩过坑的团队都发现：问题不在 AI 模型本身，而是知识库的底层架构没跟上节奏。 我们算笔账：单次知识检索请求平均返回 150KB 向量数据，12Mbps 理论上每秒处理 100 次查询。即便按网络损耗打 7 折，70次/秒的并发也足以支撑日均 5 万次的查询量。 实测中文检索准确率比 MiniLM 高 15%。利用腾讯云内网带宽从 COS 拉取模型文件，速度可达 80MB/s，比公网下载快 10 倍。 第三阶段：自动化维护与持续集成 知识库内容需要动态更新。
65610编辑于 2026-03-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号