- 综合排序
- 最热优先
- 最新优先
- 来自专栏铭毅天下
干货 | 知识库全文检索的最佳实践
2、知识库全文检索问题抛出 重新审视一个停滞不前的项目，并寻求建议，对数千个“旧”文档进行现代化改造， 最终期望效果：通过网络访问这些文档。 3、精彩回复 我将推荐ElasticSearch，我们先解决这个问题并讨论如何实现它： 这有几个部分： 从文档中提取文本以使它们可以索引（indexable），以备检索； 以全文搜索形式提供此文本； 但是关键点在于上面的（4）和（5）：知道你文档中的位置，并返回文档的某些部分。 3.2、检索部分 现在进行搜索。 你如何做到这一点取决于你想如何展示你的结果 按页面page分组， 按文档doc分组。 通过页面的结果很容易。 18 } 19 }, 20 "size" : 1 21} 或者，给“页面”文档提供一个由$ doc_id _ $ page_num（例如123_2）组成的ID，然后您可以通过如下的检索获取该页面
2.5K10发布于 2018-07-26 向量检索+NLU：AI知识库高效检索的核心逻辑与实操
在技术研发与团队协作的日常中，知识沉淀始终是绕不开的核心命题——碎片化的文档散落在不同平台、检索时陷入“关键词陷阱”、撰写技术文档耗时费力、跨平台协作效率低下，这些痛点困扰着无数开发者与团队。 而语义化AI问答和向量检索式AI搜索，则从根本上解决了传统知识库的关键词检索瓶颈，传统基于倒排索引的搜索方式常出现“搜不到”“搜不准”的情况，比如查询“如何解决HTTP接口调用超时的服务端问题”，关键词搜索仅能返回含 实操中还可利用其批量离线文件导入接口，将过往散落的Word、PDF、MD格式文档一次性批量迁入知识库，结合系统的内容结构化解析能力完成文档格式归一化，大幅降低知识库初期的内容迁移成本。 现阶段新员工可通过AI问答快速检索学习产品核心功能与技术架构，上手时间从原本的一周缩短至两天；售后与技术支持同事从重复的基础问题解答中解放，专注于复杂问题处理，团队整体工作效率提升超40%。 整体用下来，系统的核心价值在于将复杂的大模型技术做了低代码的工程化落地，基于轻量化的开源架构，让普通开发者和中小团队能快速搭建私有化的智能化知识库，其所有功能模块均围绕知识管理的创作、存储、检索、集成、
22510编辑于 2026-02-28- 来自专栏铭毅天下
实战 | Elasticsearch打造知识库检索系统
题记 源自“死磕Elasticsearch”技术群里的讨论问题： ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件，这个你之前有试过吗？能给个方向吗？ 问题转嫁为：如何将Office类文档、PDF文档导入ES建立索引，并提供全文检索服务？ 2、Elasticsearch支持的最大待检索字段的长度是多大？ ES5.X版本以后，keyword支持的最大长度为32766个UTF-8字符，text对字符长度没有限制。 设置ignore_above后，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。 5、小结 从功能和性能角度考量，建立知识库的建议如下： 1）知识库的核心是数据导入ES，导入ES的核心是各种类型文档的解析； 2）提前设定Mapping，定义好字段分词、不分词的策略； 3）对于大于
3.8K70发布于 2018-03-20 - 来自专栏用户6296428的专栏
知识库检索匹配的服务化实践
作者：极简风 部门：数据中台 一、背景 知识库是企业经营过程中的面向客户和内部员工的知识沉淀文档库，里面包含各类教程、问答、案例等，知识库的检索匹配是自然语言处理(NLP)中一个重要的基础问题，本质是进行文本语义的相似计算 ，也就是语义匹配，我们很多领域的任务都可以抽象为知识库的匹配检索任务，例如检索引擎、智能客服、知识检索、信息推荐等领域。 知识库检索匹配可以概述为：给定一个query和大量候选知识库的文档，从这些文档中找出与用户输入query最匹配的TopK个文档。 ，左右塔的结构分离但编码器参数共享，双塔结构天然的可以用于召回，将这个模型部署到小盒子就可以在线计算检索词的向量，将海量的知识库文档作为右塔离线训练成文本向量后刷入向量检索工具Milvus。 在知识库检索匹配服务化实践过程中，后续值得关注以下几点： 1）对于知识库中低频或缺失的新文档或新商品的Embedding学习还不够充分，可考虑利用图结算法结构，把更多query和其他属性的语义信息聚合，
2K40编辑于 2022-12-12 - 来自专栏Lcry个人博客
RAGFlow 开源检索增强 AI 知识库部署教程
介绍 RAGFlow 是一个领先的开源检索增强生成（RAG）引擎，将前沿的 RAG 与代理能力融合，为大型语言模型创建了更优越的上下文层。它提供了一套精简的 RAG 工作流程，适用于任何规模的企业。 数据源也可以根据实际添加，可以使用 S3 协议自建 minio 或者 rustfs 初体验 知识库 创建一个知识库，上传一些文档试试。 聊天 创建一个聊天助手，配置引用知识库，然后进行问答。 搜索 搜索可以选择多个知识库进行检索，支持 AI 总结以及引用原文。 总结 本文通过docker 一键部署 ragflow，并且体验了简单的功能， 整个使用下来存在很多卡顿的问题，在知识库的文档解析的时候一直卡住不动重启才恢复正常，不愧是issues 还有一大堆没修改，解析的方式强是强 ，传说中做知识库属它最牛逼，但是使用体验下来真的就是资源占用太大了，对准确率高的资源不在乎的可以尝试配置学习试试，这个也通过和 dify 结合进行使用，网上有相关教程可以参考，将 ragflow 直接外挂给
1.1K10编辑于 2026-01-09 - 来自专栏IT云清
5.Elasticsearch检索文档
我们会发现，我们存储的文档，在_source中，其他的类似_index,_type等都是元数据，元数据在后面会做详细解释。
60420发布于 2019-01-22 VFP AI 插件开发花絮10：知识库检索
之前介绍了知识库的一些基础，如VFP AI 插件开发花絮8：知识库基础、VFP开发者如何构建自己的知识库，介绍了一些基本使用的工具软件和交互操作。 * ========================================== #DEFINE API_KEY [BSVBF9K-ZB948M5-JQWYQSR-X77F0TP] #DEFINE 预热知识库 If m.loObj.Warmup() ? "知识库预热成功！" Else ? "知识库预热失败！" EndIf ? *!* 5. 知识库检索 m.loJSON = m.loObj.VectorSearch([VFP是什么？], 2) ? 输出结果： todo： 除了知识库检索，可以将其扩展为真正的 AnythingLLM Manager，用于程序化的完全控制 AnythingLLM 。
11510编辑于 2026-04-02检索增强生成（RAG）：大模型的‘外挂知识库
（2）生成响应 使用生成模型（如GPT、T5等）基于整合后的输入生成最终响应。 生成模型的任务： 理解用户问题和检索到的文档。 结合文档内容生成准确、连贯的回答。 （2）生成模型 预训练语言模型：如GPT、T5、BART等，具有较强的文本生成能力。 上下文理解：生成模型需要理解用户问题和检索到的文档之间的关联。 弥补模型知识局限：生成模型本身的知识受限于训练数据，而RAG通过检索弥补了这一不足。 5. 复杂性问题 系统复杂性高：RAG需要同时维护检索模型、生成模型和知识库，系统架构和调试复杂度较高。 调试难度大：检索和生成两个模块的协同工作可能导致问题定位和优化更加困难。 5. 知识库规模限制 大规模知识库的存储和检索：随着知识库规模的增大，存储和检索的开销也会显著增加，可能影响系统性能。 小规模知识库的局限性：如果知识库规模较小，可能无法覆盖用户的所有查询需求。
1.6K10编辑于 2025-05-31检索增强生成（RAG）在开源知识库中的实践应用
传统知识库存在非结构化数据治理缺失、知识链路断裂、语义检索不足、跨系统协同壁垒高四大痛点，制约知识资产激活。 （二）RAG增强的AI原生内核：全链路智能化知识处理能力采用AI原生架构，将检索增强生成（RAG）深度融入全流程，构建AI创作、问答、搜索三位一体能力，解决「人找知识」痛点。 内置知识切片分块模块，对接向量数据库实现高效检索；AI创作依托Prompt工程模板降本提效，AI搜索采用混合检索架构提升精准度，AI问答支持多轮推理与溯源。 内置内容降噪去重模块与增量同步机制，自动提取元数据与标签，为知识图谱构建和语义检索提供支撑。 搭建新人胜任力培训体系，上岗周期缩至5天，培训成本降低60%；4. 跨部门协同效率提升80%，设备迭代周期缩至5天。该案例证明，AI原生开源知识库可适配工业制造等重资产行业，具备极强的适配性与扩展性。
34911编辑于 2026-03-12TextIn文档树引擎，助力RAG知识库问答检索召回能力提升
简单来说，当AI对长文档进行检索与理解，清晰的标题及层级识别，能帮助机器快速读取全文的逻辑结构，并锚定我们希望查找或归纳的信息位置。 RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型，模型才能生成可靠有用的内容。 良好的分块能够减少计算资源的消耗，提高检索效率，并提升生成质量。常见的Chunking方式包括以下几种：1、固定长度切分：将文本按固定长度进行切分，例如每1000或2000个字符切分为一个块。 但如果句子过长，可能丢失一些细节，或由于切分不准确影响检索效果。3、滑动窗口切分：创建一个重叠的滑动窗口，比如设置窗口大小为500，步长为100。 目前，TextIn文档解析工具已在RAG知识库问答中发挥重要功能，文档树引擎在年报、财报、行研报告等金融文件领域展现了较为明显的优势。
67910编辑于 2024-08-13- 来自专栏AI大模型
Spring AI 进阶：RAG 技术原理拆解与本地知识库检索落地
在 AI 应用开发中，大模型常面临 “知识过期”“不懂私有数据” 的痛点，而检索增强生成（RAG）技术正是解决这一问题的核心方案。RAG 能够将大模型与私有知识库结合，让生成的回答更准确、更具针对性。 它通过在大模型生成回答前，从外部知识库中检索与用户问题相关的信息，并将这些信息作为上下文传递给大模型，从而让大模型基于外部知识生成更准确、更可靠的回答。 “检索增强”，只能依赖大模型的原生知识库。 四、实操案例：RAG 本地知识库检索完整实现 本案例将实现 RAG 的全流程：加载本地知识库并向量化、接收用户问题并检索相似文本、结合上下文生成回答。 1. 以下是户外旅行安全指南的知识：\n%s\n请基于上述知识，简洁明了地回答问题：%s", context, question ); // 5.
1.5K21编辑于 2026-01-14 RAG革命：检索增强生成如何重塑企业知识库，告别“幻觉”时代
#RAG革命：检索增强生成如何重塑企业知识库，告别“幻觉”时代摘要本文深度解析检索增强生成（RAG）技术如何解决大语言模型的“幻觉”问题，重塑企业知识库系统。 文章包含3个Mermaid架构图、5段核心代码、3组对比表格，助力企业告别知识管理“盲人摸象”时代。 直到引入RAG技术，我们才实现：医疗场景错误率降至0.3%知识更新时效从3天缩短至5分钟运维成本下降70%二、三大技术支柱详解2.1RAG技术原理解析检索增强生成（Retrieval-AugmentedGeneration >F[事实性校验]核心创新点：动态知识注入：实时检索最新知识库文档生成约束：强制模型仅使用检索内容作答置信度监控：输出附证据来源及置信分数与传统微调对比：RAG避免模型“死记硬背”，知识更新无需重新训练 2.2企业知识库痛点全景传统知识库面临三重困境：痛点类型具体表现RAG解决方案数据时效政策文件更新延迟⚠️实时向量检索权限隔离财务数据全员可见❌多租户向量空间隔离✅冷启动新领域知识训练耗时⏳零样本快速接入
30010编辑于 2026-02-27- 来自专栏AI
Dify Chatflow 构建智能问答系统：知识库检索 + 视觉识别双通道实战
知识检索前置的好处是，即使用户上传了文件，也可以结合知识库内容进行更智能的分析。 知识检索节点用户输入之后，紧接着就是知识检索节点。这里的设计思路是：无论用户是否上传文件，都先进行一次知识库检索，为后续的 LLM 提供参考上下文。 配置要点：查询变量：设置为 sys.query，即用户输入的文字内容知识库：选择预先创建好的知识库召回设置：推荐使用「高质量」+「混合检索」模式知识检索节点的输出变量是 result，类型为 Array 知识库检索结果为空确认知识库已正确导入文档，且文档已完成向量化索引。可以在知识库管理页面查看文档状态。 这种「检索前置 + 条件路由」的设计既保证了知识库的利用率，又能灵活支持多模态输入。
4.9K62编辑于 2025-12-10 - 来自专栏NLP/KG
Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答 QAnything (Question and Answer based on Anything ) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。 支持选择多知识库问答。 架构 1.两阶段检索优势 知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长 -----------| |Linux | Single NVIDIA GPU Memory or Double NVIDIA GPU Memory | >= 16GB >= 11GB + 5G
2.4K20编辑于 2024-01-24 - 来自专栏网络安全技术点滴分享
检索增强生成(RAG)入门指南：构建知识库与LLM协同系统
检索增强生成(RAG)初学者指南大语言模型(LLM)使我们能够高效、可靠且快速地处理大量文本数据。 过去两年最流行的应用场景之一就是检索增强生成(Retrieval-Augmented Generation, RAG)。 RAG允许我们获取若干文档(从几个到数十万个)，创建文档知识库，然后进行查询并基于文档获得带有相关来源的答案。相比需要耗时数小时甚至数天的手动搜索，我们只需几秒延迟就能让LLM完成搜索。 distances.append((doc_id, dist)) distances.sort(key=lambda x: x[1]) return distances[:top_k]最后使用GPT-4o基于检索到的文档生成答案
1.5K10编辑于 2025-08-18 - 来自专栏YO大数据
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
这样的向量可以代表图像的内容、风格、色彩等信息，从而用于图像识别、分类或检索任务。 结果存储 嵌入向量生成后，需要将它们存储起来以便于后续的检索和分析。 整体实战代码 文本检索匹配 import time from typing import List import os import pandas as pd # 导入 tiktoken 库。 model="text-embedding-ada-002" # 选择一个合适的模型，如ada ) print("测试数据：",response.data[0].embedding) 结果 最终检索到匹配度前三的文本向量 后续会使用到向量数据库 完成知识库的搭建 欢迎小伙伴们 点赞、收藏⭐、留言 有问题可以咨询主页
14.5K21编辑于 2024-05-25 - 来自专栏算法channel
构建私人知识库的5个基本步骤
今天，这篇咱们先看看，如何构建一个AI私人知识库，把我们工作的历史数据构建为知识库，这样直接提问它，获取专业服务于个人的答案，效率直接起飞。 构建知识库一种方法是使用LangChain，编写100行内代码，就可以自己开发一个基本的知识库，自己动手，丰衣足食。 LangChain 允许您整合和利用个人知识库。 , metadata={"title": "自然语言处理"}) ] # 将文档加入知识库 chain.add_documents(docs) 步骤 4: 查询您的知识库 一旦您的知识库准备就绪，您就可以开始查询它以获取信息 print(response) 步骤 5: 进一步开发和优化 LangChain 提供了扩展性，您可以通过训练自定义模型、添加更多文档和改进查询处理来进一步优化您的知识库。
1.7K10编辑于 2024-05-10 5分钟搞定AI知识库部署
AI开源知识库系统的核心价值，在于务实解决实际问题，而非堆砌花哨功能，能有效改善知识创作、检索与协作中的低效困境。 一、极简部署：5分钟搞定，零门槛上手AI开源知识库系统最让我惊喜的一点就是部署门槛极低，对比传统Confluence需要折腾服务器、插件、配置，它完全做到了“开箱即用”。 二、核心功能实操：AI不是花架子，是真能提效率的利器AI开源知识库系统的核心能力围绕“AI驱动+知识库管理”展开，它的AI功能最难得的是“克制且实用”，不会过度炫技，而是精准解决传统知识库的痛点：检索慢 AI全链路能力：从创作到检索，彻底告别“大海捞针”这是AI开源知识库系统最核心的竞争力，我用下来最大的感受是：它把AI真正融入了知识库的日常使用，而不是作为一个单独的“附加功能”。 建立知识库规范：提前约定文档的命名规则、分类方式、排版标准，比如技术文档命名为“模块名-文档类型-版本号”，这样不管是人工管理还是AI检索，效率都会更高；3.
44410编辑于 2026-03-04- 来自专栏我的小碗汤
5 款强大的 Kubernetes Events 收集与检索工具
以下是我将要解释的内容的概述： 事件机制 Kubernetes API 中的事件结构 需要关注的事件类型 检索事件的可用解决方案 在本文的最后，会链接到 YouTube 和 Github 上的相关教程， 这样你就可以直接学习如何收集和检索 Kubernetes 事件。 Rebooted HostPort 冲突 检索 Kubernetes 事件的解决方案 有多种解决方案可用于检索 Kubernetes 事件。让我们看看现成可用的项目。 详细信息请看 kspan[5] GitHub Kubernetes 事件教程 现在我们已经大致了解了 Kubernetes 事件是什么以及如何利用它们，您可以在 YouTube 和 GitHub 上找到更详细教程 salesforce/sloop [4] kubernetes-event-exporter: https://github.com/opsgenie/kubernetes-event-exporter [5]
2K21编辑于 2023-03-19 向量检索与NLP赋能：开源知识库的技术核心与应用场景
传统知识库存在的内容分散、检索低效、创作成本高、集成性弱等痛点，成为制约知识流转与价值发挥的重要因素。 此类AI大模型驱动的开源知识库系统，基于AGPL-3.0开源协议开发，依托大模型微调适配、向量数据库检索、RESTful API接口等核心技术，凭借智能化功能、灵活的拓展能力与轻量化的部署体验，为不同组织框架下的企业知识管理提供了全新的解决方案 （四）AI检索与问答：实现组织内的“知识找人”传统关键词检索模式往往存在“检索结果与需求匹配度低”的问题，而此类开源知识库的AI语义检索基于向量数据库（如Milvus、Chroma）、BERT语义模型， 针对集团型企业跨子公司、跨部门的知识查询需求，AI可通过跨库向量检索、分布式查询，打破组织边界，整合全集团的相关知识；针对事业部制企业各业务线的专业知识查询需求，AI可通过领域知识库微调，精准匹配业务线专属知识 42%，售后事业部的故障解决效率因整合研发、生产知识提升60%；新员工的跨事业部培训周期从1个月缩短至5天，各事业部的新人培养成本大幅降低。
22410编辑于 2026-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号