- 综合排序
- 最热优先
- 最新优先
- 来自专栏铭毅天下
干货 | 知识库全文检索的最佳实践
2、知识库全文检索问题抛出 重新审视一个停滞不前的项目，并寻求建议，对数千个“旧”文档进行现代化改造， 最终期望效果：通过网络访问这些文档。 2、我们希望通过搜索，能够灵活地只返回整个文档的部分页面（我相信的Lucene / elasticsearch使这成为可能？！？） 3、如果所有文档是XML是否会更加灵活？ 3、精彩回复 我将推荐ElasticSearch，我们先解决这个问题并讨论如何实现它： 这有几个部分： 从文档中提取文本以使它们可以索引（indexable），以备检索； 以全文搜索形式提供此文本； 3.2、检索部分 现在进行搜索。 你如何做到这一点取决于你想如何展示你的结果 按页面page分组， 按文档doc分组。 通过页面的结果很容易。 组成的ID，然后您可以通过如下的检索获取该页面： 1curl -XGET'http://127.0.0.1:9200/my_index/page/123_2 4、扩展 Tika是一个内容分析工具，自带全面的
2.5K10发布于 2018-07-26 向量检索+NLU：AI知识库高效检索的核心逻辑与实操
在技术研发与团队协作的日常中，知识沉淀始终是绕不开的核心命题——碎片化的文档散落在不同平台、检索时陷入“关键词陷阱”、撰写技术文档耗时费力、跨平台协作效率低下，这些痛点困扰着无数开发者与团队。 而语义化AI问答和向量检索式AI搜索，则从根本上解决了传统知识库的关键词检索瓶颈，传统基于倒排索引的搜索方式常出现“搜不到”“搜不准”的情况，比如查询“如何解决HTTP接口调用超时的服务端问题”，关键词搜索仅能返回含 实操中还可利用其批量离线文件导入接口，将过往散落的Word、PDF、MD格式文档一次性批量迁入知识库，结合系统的内容结构化解析能力完成文档格式归一化，大幅降低知识库初期的内容迁移成本。 现阶段新员工可通过AI问答快速检索学习产品核心功能与技术架构，上手时间从原本的一周缩短至两天；售后与技术支持同事从重复的基础问题解答中解放，专注于复杂问题处理，团队整体工作效率提升超40%。 整体用下来，系统的核心价值在于将复杂的大模型技术做了低代码的工程化落地，基于轻量化的开源架构，让普通开发者和中小团队能快速搭建私有化的智能化知识库，其所有功能模块均围绕知识管理的创作、存储、检索、集成、
22510编辑于 2026-02-28- 来自专栏铭毅天下
实战 | Elasticsearch打造知识库检索系统
题记 源自“死磕Elasticsearch”技术群里的讨论问题： ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件，这个你之前有试过吗？能给个方向吗？ 问题转嫁为：如何将Office类文档、PDF文档导入ES建立索引，并提供全文检索服务？ 2、Elasticsearch支持的最大待检索字段的长度是多大？ 设置ignore_above后，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。 5、小结 从功能和性能角度考量，建立知识库的建议如下： 1）知识库的核心是数据导入ES，导入ES的核心是各种类型文档的解析； 2）提前设定Mapping，定义好字段分词、不分词的策略； 3）对于大于 参考： [1] Java读取Office文档参考：http://t.cn/RZsiHcY [2] Html2Md参考：http://t.cn/RYlEEoC [3] Pdf2Html参考：http:
3.8K70发布于 2018-03-20 - 来自专栏用户6296428的专栏
知识库检索匹配的服务化实践
作者：极简风 部门：数据中台 一、背景 知识库是企业经营过程中的面向客户和内部员工的知识沉淀文档库，里面包含各类教程、问答、案例等，知识库的检索匹配是自然语言处理(NLP)中一个重要的基础问题，本质是进行文本语义的相似计算 ，也就是语义匹配，我们很多领域的任务都可以抽象为知识库的匹配检索任务，例如检索引擎、智能客服、知识检索、信息推荐等领域。 知识库检索匹配可以概述为：给定一个query和大量候选知识库的文档，从这些文档中找出与用户输入query最匹配的TopK个文档。 在知识库检索匹配服务化实践过程中，后续值得关注以下几点： 1）对于知识库中低频或缺失的新文档或新商品的Embedding学习还不够充分，可考虑利用图结算法结构，把更多query和其他属性的语义信息聚合， 进而提升query和知识库文档的语义表征能力； 2）Embedding 的实现算法比较多，可考虑结合业务需要，将词嵌入模型内置模块化； 3）服务的性能和稳定性，确保服务在高准确率和高QPS下的响应性能依然是重中之重
2K40编辑于 2022-12-12 - 来自专栏Lcry个人博客
RAGFlow 开源检索增强 AI 知识库部署教程
介绍 RAGFlow 是一个领先的开源检索增强生成（RAG）引擎，将前沿的 RAG 与代理能力融合，为大型语言模型创建了更优越的上下文层。它提供了一套精简的 RAG 工作流程，适用于任何规模的企业。 检查命令： echo "--- CPU 核心数 ---" && nproc; \ echo "--- 内存总量 ---" && free -h | grep Mem: | awk '{print $2} A | +-----------------------------------------+------------------------+----------------------+ | 2 数据源也可以根据实际添加，可以使用 S3 协议自建 minio 或者 rustfs 初体验 知识库 创建一个知识库，上传一些文档试试。 聊天 创建一个聊天助手，配置引用知识库，然后进行问答。 搜索 搜索可以选择多个知识库进行检索，支持 AI 总结以及引用原文。
1.1K10编辑于 2026-01-09 - 来自专栏大猪的笔记
信息检索：布尔检索-建立倒排索引(2)
假定我们有3个文档： doc1 = ["1", "hello", "word", "i", "love", "dazhu"] doc2 = ["2", "hi", "i", "can", "speak" 合并单词表并排序(代码 give_index) 同理，处理doc2和doc3,合并所有结果并排序，可得一个如下的列表： ['can', '2'] ['can', '3'] ['dazhu', '1'] 最终得到结果如下： ['can', ['2', '3']] ['dazhu', ['1', '3']] ['hello', ['1', '3']] ['hi', ['2', '3']] ['i', [' 1', '2', '3']] ...... 取出 i 的倒排记录表：['1', '2', '3'] 2. 取出 can 的倒排记录表：['2', '3'] 3. 对这两个集合求交集 4.
1.6K20发布于 2019-11-21 VFP AI 插件开发花絮10：知识库检索
之前介绍了知识库的一些基础，如VFP AI 插件开发花絮8：知识库基础、VFP开发者如何构建自己的知识库，介绍了一些基本使用的工具软件和交互操作。 * 2. 启动服务 If m.loObj.Start(30) ? "AnythingLLM 启动成功！" Else ? "AnythingLLM 启动失败！" 预热知识库 If m.loObj.Warmup() ? "知识库预热成功！" Else ? "知识库预热失败！" EndIf ? *!* 5. 知识库检索 m.loJSON = m.loObj.VectorSearch([VFP是什么？], 2) ? 输出结果： todo： 除了知识库检索，可以将其扩展为真正的 AnythingLLM Manager，用于程序化的完全控制 AnythingLLM 。
11510编辑于 2026-04-02- 来自专栏desperate633
第2-3课 检索数据检索列检索排序数据
这两课主要介绍sql中利用select语句对数据的简单检索。 下面分别讨论不同类型的检索 检索列 单个列 select prod_id from Products; 多个列 select prod_id, prod_name, prod_price from Products ; 所有列 select * from Products; 检索不同值 的列 select distinct vend_id from products; 检索前几列或者后几列 select prod_name from products limit 5; select prod_name from products limit 5 offset 5; 检索排序数据 单个列排序 select prod_name
1.1K20发布于 2018-08-22 检索增强生成（RAG）：大模型的‘外挂知识库
语义理解：提取输入的语义信息，以便后续检索。 （2）检索相关文档 系统使用检索模型从外部知识库中查找与输入最相关的文档或段落。 2. 生成（Generation） （1）输入整合 将用户输入和检索到的文档整合为一个增强的输入。 例如： 用户输入：“量子计算的基本原理是什么？” （2）生成模型 预训练语言模型：如GPT、T5、BART等，具有较强的文本生成能力。 上下文理解：生成模型需要理解用户问题和检索到的文档之间的关联。 准确性高 检索增强：通过从外部知识库中检索相关文档，生成模型能够基于真实、可靠的信息生成回答，显著提高准确性。 减少幻觉：相比纯生成模型（如GPT），RAG减少了生成虚假或无关内容的可能性。 2. 检索效率问题 计算成本高：检索过程需要对大规模知识库进行搜索和匹配，尤其是稠密检索模型，计算开销较大。 延迟较高：检索和生成两个步骤的串联可能导致响应时间较长，不适合实时性要求高的场景。 2.
1.6K10编辑于 2025-05-31检索增强生成（RAG）在开源知识库中的实践应用
传统知识库存在非结构化数据治理缺失、知识链路断裂、语义检索不足、跨系统协同壁垒高四大痛点，制约知识资产激活。 内置知识切片分块模块，对接向量数据库实现高效检索；AI创作依托Prompt工程模板降本提效，AI搜索采用混合检索架构提升精准度，AI问答支持多轮推理与溯源。 内置内容降噪去重模块与增量同步机制，自动提取元数据与标签，为知识图谱构建和语义检索提供支撑。 知识分级管控：基于设备全生命周期管理框架搭建三级知识库，批量导入研发文档，编制SOP作业指导书，构建故障根因分析库；2. （三）性能优化：高并发与大知识库场景的调优策略1. 高并发优化：K8s集群负载均衡，配置多级缓存策略，提升响应速度；2. 大知识库优化：索引分片管理，定期清理无效文档，冷热数据分离存储；3.
34911编辑于 2026-03-12TextIn文档树引擎，助力RAG知识库问答检索召回能力提升
简单来说，当AI对长文档进行检索与理解，清晰的标题及层级识别，能帮助机器快速读取全文的逻辑结构，并锚定我们希望查找或归纳的信息位置。 RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型，模型才能生成可靠有用的内容。 良好的分块能够减少计算资源的消耗，提高检索效率，并提升生成质量。常见的Chunking方式包括以下几种：1、固定长度切分：将文本按固定长度进行切分，例如每1000或2000个字符切分为一个块。 2、基于句子的切分：按照句子粒度进行切分，比如以句号、点号等标点符号进行切分。该方法能保证每个句子的完整性、上下文连贯性。但如果句子过长，可能丢失一些细节，或由于切分不准确影响检索效果。 目前，TextIn文档解析工具已在RAG知识库问答中发挥重要功能，文档树引擎在年报、财报、行研报告等金融文件领域展现了较为明显的优势。
67910编辑于 2024-08-13- 来自专栏AI大模型
Spring AI 进阶：RAG 技术原理拆解与本地知识库检索落地
“检索增强”，只能依赖大模型的原生知识库。 四、实操案例：RAG 本地知识库检索完整实现 本案例将实现 RAG 的全流程：加载本地知识库并向量化、接收用户问题并检索相似文本、结合上下文生成回答。 1. 核心工具类：复用相似度计算逻辑 可以复用上一篇文章中的SimilarityCalculator.java类，该类封装了余弦相似度、欧氏距离等多种主流算法，支持 RAG 检索阶段的相似度计算。 2. 用户问题向量化（检索阶段第一步） float[] questionVector = embeddingModel.embed(question); // 2. 检索 Top2 最相似的文本片段（检索阶段第二步、第三步） List<String> topRelevantChunks = retrieveTopRelevantChunks(questionVector
1.5K21编辑于 2026-01-14 - 来自专栏SpringCloud专栏
2 Elasticsearch全文检索和匹配查询
官网的翻译可参考：http://blog.csdn.net/dm_vincent/article/details/41693125 Elasticsearch主要功能就是完成模糊检索、字符串匹配 全文检索测试 还接着上一篇的demo，在Controller的add方法加条数据 @RequestMapping("/add") public void testSaveArticleIndex 我们通过几个小测试来看看全文检索。 文档2和文档3都包含了”brown”和”dog”一次，同时它们的title字段拥有相同的长度，因此它们的分值相同。 文档1只包含了”brown”。 无论你输入的是什么，至少有2个词条被匹配时，该文档才会被算作最终结果中的一员。 minimum_should_match参数非常灵活，根据用户输入的词条的数量，可以适用不同的规则。
1.7K20发布于 2019-01-17 - 来自专栏数据和云
YH2:In-Memory知识库
In-Memory 是 Oracle 在 12.1.0.2 中引入的新特性，旨在加速分析型 SQL 的速度。传统的 OLTP 应用通过 buffer cache 修改数据，分析性的 SQL 从 IM 列式存储中扫描数据，避免物理读成为性能瓶颈。 列式存储表达式 内存中列存储允许以压缩的列格式将对象（表，分区和子分区）填充到内存中。 内存表达式使经常评估的查询表达式能够在内存中列存储中实现，以供后续重用。 将经常使用的查询表达式的实现值填充到内存中列存储中大大减少了执行查询所需的系统资源，并提供更高的可扩展性
1.7K40发布于 2018-03-07 RAG革命：检索增强生成如何重塑企业知识库，告别“幻觉”时代
#RAG革命：检索增强生成如何重塑企业知识库，告别“幻觉”时代摘要本文深度解析检索增强生成（RAG）技术如何解决大语言模型的“幻觉”问题，重塑企业知识库系统。 >F[事实性校验]核心创新点：动态知识注入：实时检索最新知识库文档生成约束：强制模型仅使用检索内容作答置信度监控：输出附证据来源及置信分数与传统微调对比：RAG避免模型“死记硬背”，知识更新无需重新训练 2.2企业知识库痛点全景传统知识库面临三重困境：痛点类型具体表现RAG解决方案数据时效政策文件更新延迟⚠️实时向量检索权限隔离财务数据全员可见❌多租户向量空间隔离✅冷启动新领域知识训练耗时⏳零样本快速接入 checklist1.文档预处理：-✅移除页眉/页脚-✅拆分超过500字符的段落2.元数据标注：-添加`doc_type`（政策/财报/手册）-⏰添加`update_date`3.混合检索策略：-70% ifnotcontains_entity(response):return"警告：答案缺乏具体实体"#规则2：答案是否超出上下文范围？
30010编辑于 2026-02-27- 来自专栏AI
Dify Chatflow 构建智能问答系统：知识库检索 + 视觉识别双通道实战
知识检索前置的好处是，即使用户上传了文件，也可以结合知识库内容进行更智能的分析。 知识检索节点用户输入之后，紧接着就是知识检索节点。这里的设计思路是：无论用户是否上传文件，都先进行一次知识库检索，为后续的 LLM 提供参考上下文。 配置要点：查询变量：设置为 sys.query，即用户输入的文字内容知识库：选择预先创建好的知识库召回设置：推荐使用「高质量」+「混合检索」模式知识检索节点的输出变量是 result，类型为 Array 这是整个流程的路由中心——根据用户是否上传了文件来决定走哪条处理路径：分支逻辑：IF 条件：用户输入.files 不为空 → 走视觉模型链路（LLM2-Gemini）ELSE：走纯文字链路（LLM-DeepSeek 知识库检索结果为空确认知识库已正确导入文档，且文档已完成向量化索引。可以在知识库管理页面查看文档状态。
4.9K62编辑于 2025-12-10 - 来自专栏NLP/KG
Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答 QAnything (Question and Answer based on Anything ) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。 支持选择多知识库问答。 架构 1.两阶段检索优势 知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长 QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异， 从而实现： 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标
2.4K20编辑于 2024-01-24 - 来自专栏网络安全技术点滴分享
检索增强生成(RAG)入门指南：构建知识库与LLM协同系统
检索增强生成(RAG)初学者指南大语言模型(LLM)使我们能够高效、可靠且快速地处理大量文本数据。 过去两年最流行的应用场景之一就是检索增强生成(Retrieval-Augmented Generation, RAG)。 RAG允许我们获取若干文档(从几个到数十万个)，创建文档知识库，然后进行查询并基于文档获得带有相关来源的答案。相比需要耗时数小时甚至数天的手动搜索，我们只需几秒延迟就能让LLM完成搜索。 distances.append((doc_id, dist)) distances.sort(key=lambda x: x[1]) return distances[:top_k]最后使用GPT-4o基于检索到的文档生成答案
1.5K10编辑于 2025-08-18 - 来自专栏YO大数据
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
这样的向量可以代表图像的内容、风格、色彩等信息，从而用于图像识别、分类或检索任务。 结果存储 嵌入向量生成后，需要将它们存储起来以便于后续的检索和分析。 整体实战代码 文本检索匹配 import time from typing import List import os import pandas as pd # 导入 tiktoken 库。 model="text-embedding-ada-002" # 选择一个合适的模型，如ada ) print("测试数据：",response.data[0].embedding) 结果 最终检索到匹配度前三的文本向量 后续会使用到向量数据库 完成知识库的搭建 欢迎小伙伴们 点赞、收藏⭐、留言 有问题可以咨询主页
14.5K21编辑于 2024-05-25 - 来自专栏深度学习自然语言处理
字节跳动发布最新音乐检索系统ByteCover2，检索速度提高八倍
近期，字节跳动火山语音团队的最新音乐检索系统 ByteCover2 入选了 ICASSP 2022。 这一系统主要面向翻唱识别（CSI）这一音乐信息检索（MIR）领域的一项重要任务，通过表征学习方法让其具备提取音乐核心特征的能力，并且该特征能够对种类繁多的音乐重演绎具有良好的鲁棒性，检索速度提高 8 倍 ByteCover2: 为高效翻唱识别系统设计的隐式嵌入降维方法 《BYTECOVER2: TOWARDS DIMENSIONALITY REDUCTION OF LATENT EMBEDDING FOR 实验结果显示， PCA FC 能显著提升降维模型的检索性能，在保持检索性能不变的前提下向量尺寸可以被压缩八倍。 M2MeT 挑战赛包括多说话人语音识别和说话人日志两个赛道，团队在限定训练数据子赛道上分别获得第二名和第四名。
1.2K10编辑于 2022-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号