- 综合排序
- 最热优先
- 最新优先
- 来自专栏MongoDB中文社区
如何实现文档检索（上）
在执行查询操作时，可以使用标准查询，或组合条件从数据库中检索符合条件的特定数据。 MongoDB提供了一个名为db.collection.find（）的函数，该函数用于从MongoDB数据库中检索文档。 本次，我们将学习实现文档检索的部分内容，剩余部分敬请期待下期分享。 （）更新MongoDB文档 使用find（）查询MongoDB中的文档 基本查询操作 基本查询操作包括一些简单的操作，比如获取MongoDB集合中的所有文档。 find命令是一个内置函数，用于检索集合中的文档。 如果命令执行成功，将显示以下输出结果： ? 输出显示集合中存在的所有文档。 我们还可以向查询中添加条件，以便我们可以根据特定条件获取文档。 下面的例子，在我们的集合中有3个文档，光标对象将指向第一个文档，然后遍历该集合的所有文档。 ? 下面的例子，告诉我们如何完成此操作。
2.1K30发布于 2020-03-27 - 来自专栏MongoDB中文社区
如何实现文档检索（下）
在执行查询操作时，可以使用标准查询，或组合条件从数据库中检索符合条件的特定数据。 MongoDB提供了一个名为db.collection.find（）的函数，该函数用于从MongoDB数据库中检索文档。 本次，我们将学习实现文档检索的第二部分内容。 删除文件 在MongoDB中，db.collection.remove（）方法用于从集合中删除文档。所有文档都可以从集合中删除，也可以仅从符合特定条件的文档中删除。 仅仅更新要更新的文档，可以将条件添加到更新语句，以便更新选定的文档。 该命令中的基本参数是需要更新文档的条件，其次是需要执行的修改。 下面是如何完成此操作。 更新多个值 为了确保在MongoDB中同时更新多个/大量文档，需要使用multi选项，因为默认情况下，一次只能修改一个文档。 以下示例显示了如何更新许多文档。
3K10发布于 2020-04-10 - 来自专栏IT云清
5.Elasticsearch检索文档
前一篇我们索引（存储）了文档，本篇我们讲解最简单的查询文档，和删除文档。 1.根据id查询文档 我们执行一个http get请求，指定文档的索引库，类型，id，即可返回此文档 GET people/user/1 返回结果为： { "_index": "people", interests": [ "bastkeyball", "football" ], "create_time": "2018-02-04" } } 我们会发现，我们存储的文档 2.删除文档 DELETE people/user/1 返回结果为： { "found": true, "_index": "people", "_type": "user", "_id deleted", "_shards": { "total": 2, "successful": 1, "failed": 0 } } 当我们再次查询时，会发现找不到这个文档了
60120发布于 2019-01-22 - 来自专栏booth
提高文档检索效率：KMP算法在文档管理中的应用
KMP算法可以用于文档管理软件中的字符串匹配功能。在监控软件中，需要对用户的电脑活动进行监控，包括监控用户输入的文本内容。 KMP算法可以在文档管理软件中用于检测用户在电脑上输入的敏感信息，例如密码、银行账号等。其优势包括：高效性：KMP算法的时间复杂度为O(n)，相比暴力匹配算法的O(n*m)更加高效。 文档管理软件可以利用KMP算法实现以下用途：监控员工的账号密码输入，防止泄露公司敏感信息。监控员工的网银操作，防止财务风险。监控员工的聊天记录，防止公司机密泄露。 总之，KMP算法在文档管理软件中具有重要的应用价值，可以帮助企业保护公司机密和员工隐私。
75520编辑于 2023-09-08 - 来自专栏hotqin888的专栏
中文全文检索技术路线（elasticsearch全文检索、中文分词ik、tika解析文档）
github.com/3xxx/engineercms https://github.com/3xxx/engineercms 总体思路就是用docker安装es和tika服务，在cms里上传word之类文档 前端检索，在es里查询，返回高亮文本和结果列表，点击定位到文档打开。 es里安装ik插件，用head和postman或curl进行调试。 docker pull apache/tika docker run -d -p 9998:9998 apache/tika:<tag> engineercms需要做的就是上传、提交检索数据结构、返回和前端展示 …… 1.tika识别文档——提取文本数据 f, err := os.Open(". 下面这个是engineercms的电子规范全文检索效果： 通过全文检索，定位到具体规范，打开规范，再次搜索关键字。
1.4K20编辑于 2021-12-06 信息检索中过滤禁止文档的新方法
信息检索中的禁止文档过滤内容所有者致力于消除可能对客户产生不利影响的不良内容。不良内容可能采取多种形式，如虚假新闻、付费评论、垃圾信息、攻击性语言等。 在某国际学术会议上，某机构的智能购物研究团队发表了一篇关于存在禁止文档时的信息检索（IR）论文。重点在于同时优化两个需求：检索与客户请求相关的内容，并过滤掉禁止文档。 合适的评估指标寻找一个评估指标，根据三个标准强化排名器：（1）从检索列表中修剪尽可能多的禁止文档；（2）不从列表中修剪非禁止文档；（3）根据剩余文档与查询的相关性进行排名，同时将禁止文档推至列表底部。 然而，论文表明当排名和过滤同时进行时——即当排名器被允许检索（和排名）搜索结果的子列表时——nDCGmin变得无界。 虽然LTRF模型在排名和过滤方面取得了成功，但检索列表中禁止文档的数量仍然过高。改进LTRF模型是一个开放的挑战，希望工作能鼓励其他研究人员解决它。
15610编辑于 2025-08-31- 来自专栏硬核项目经理的专栏
【迅搜03】全文检索、文档、倒排索引与分词
全文检索、文档、倒排索引与分词 今天还是概念性的内容，但是这些概念却是整个搜索引擎中最重要的概念。可以说，所有的搜索引擎就是实现了类似的概念才能称之为搜索引擎。 全文检索 先来看看啥叫 全文检索 。 那么按词分词检索呢？我们就可以把上面那句话切分成： 我爱 北京 天安门 先不说查询，至少存储空间就能节约不少吧。后面我们马上就会详细地说分词这件事。 文档 文档在搜索引擎中，就是实际的存储的数据单元。 说直白点，就是我们在 MySQL 的那一行数据，将一行数据放到搜索引擎中，就是一篇文档。只不过这个文档是结构化的，有结构属性的，有字段名和值，可以被查询检索出来的数据。 这个不用多解释了吧，doc 就是文档的意思。 或者再换句话说，我们上面所说的全文检索引擎，以及我们这个系列要学习的搜索引擎，这两个概念，最终都会落在 文档搜索引擎 这个概念上。
1.1K11编辑于 2023-11-24 信息检索中“禁止文档”的过滤新方法
信息检索中“禁止文档”的过滤内容所有者投入大量精力来消除可能对客户产生不利影响的不良内容。不良内容可以采取多种形式，例如假新闻、付费评论、垃圾邮件、攻击性语言等。 我们将此类数据项（文档）简称为禁止文档或 f-docs。然而，任何数据清洗过程都容易出现错误。无论清洗过程投入多少精力，一些不良内容仍可能残留。 本周，在某中心的 Alexa 购物研究团队在 ACM 信息检索特别兴趣小组的年会上发表了一篇论文，探讨了在存在 f-docs 情况下的信息检索。 正确的评估指标我们寻找一种评估指标，该指标根据三个标准来强化排序器：它 (1) 从检索列表中剪除尽可能多的 f-docs；(2) 不从列表中剪除非 f-docs；(3) 根据剩余文档与查询的相关性对其进行排序 我们假设一个 LTRF 模型能够优化搜索结果的排序，同时调整过滤阈值，使得任何分数低于此阈值的文档都被过滤掉。
15100编辑于 2025-12-21- 来自专栏自然语言处理
LongRefiner：解决长文档检索增强生成的新思路
背景问题：长文档处理的两大难题 使用检索增强型生成（RAG）系统处理长文档时，主要有两个痛点： 信息杂乱：长文档中往往包含大量与用户问题无关的内容，就像大海捞针，模型很难准确找到真正有用的信息。 文档结构化处理 把杂乱无章的长文档变成有条理的结构化文档，主要包括： 设计基于XML的文档结构表示方式，用特殊标签（如
、<subsection>）标记出文档的层次结构 利用维基百科网页数据建立文档结构树 自适应文档精炼 根据不同问题类型，系统会从两个角度评估文档各部分的重要性： 局部视角：从文档的最小单元（如段落）开始，计算与查询的相关性 全局视角：从文档的整体结构出发，确保能够全面理解文档 最后，系统会结合这两种视角的评分 通过理解查询类型、结构化文档以及自适应精炼机制，它成功地在保持高性能的同时大幅降低了计算成本。这一研究为未来大语言模型处理长文档问题提供了新的思路。 对于需要处理大量长文档的应用场景，如智能客服、文档检索系统、知识库问答等，LongRefiner无疑是一个值得关注的技术。 31210编辑于 2025-05-17 - 来自专栏智慧零售领域相关技术应用
从0到1理解ElasticSearch文档写入和检索原理
文档（Document）：一个文档是可以被索引的基础信息单元（相当于关系型数据库中一行数据）。文档可以用Json格式来表示。 3.2、文档存储 3.2.1、文档存储结构 每个Elasticsearch分片都是一个Lucene索引（Index）,每个Lucene都包含了多个段（segment），每个segment有多个文档（Document 文档存储结构如下图所示： [文档存储结构图] 3.2.2、倒排索引存储 [倒排索引存储过程图] 从 in-memory buffer 到 disk page cache 的过程，对应 ElasticSearch 4、Elasticsearch检索原理 [文档检索过程图] 假如选择了Node3，此时Node3称为coordinating node（协调节点） 协调节点（Coordinating Node）将查询请求广播到每一个数据节点 协调节点向包含这些文档ID的分片发送get请求，对应的分片将文档数据返回给协调节点，最后协调节点将数据返回给客户端。
1.9K75发布于 2021-10-14 - 来自专栏自然语言处理
【RAG论文】文档树：如何提升长上下文、非连续文档、跨文档主题时的检索效果
但当处理需要理解长篇上下文的文档时，简单的将文档切割或仅处理其上下文显然不够，在非连续文档、跨文档主题和分散型主题内容时效果不佳。 论文效果：在使用时，RAPTOR能够从这棵树中检索信息，有效整合长篇文档中的信息，覆盖不同的抽象层次。通过实验发现这种递归摘要的检索方式在多个任务上都优于传统的检索增强方法。 具体的方法如下： 文本分割 文本向量表示 文本聚类 文本摘要 创建树节点 递归分聚类以及摘要 文档检索 文本切割 将检索语料库拆分为100个tokens的短的连续的chunk，类似于传统方法 保持句子完整 QuALITY包含多项选择问题，每个问题都有约5,000个token的上下文段落，评估在中等长度文档上的检索系统性能。 检索效率 Token成本是 QASPER、NarrativeQA 和 QuALITY 文档长度的函数。 RAPTOR 树构建成本与每个数据集的文档长度成线性比例。
1.2K10编辑于 2024-05-30 文档切块、向量化与检索实践
RAG（检索增强生成） 的做法是：把文档切块、转成向量存起来，用户提问时先检索相关片段，再把片段和问题一起发给模型，让它基于这些上下文回答。 实现一套 RAG 服务，核心就三步：文档切块、向量化、检索。 RAG 为什么有用？ 大模型有两个局限：上下文长度有限（不能塞太多文档）、知识有时效性（训练数据可能过时）。 RAG 的做法是： 预处理阶段：把文档切成小块，每块转成向量（embedding），存到向量数据库 查询阶段：用户提问时，把问题也转成向量，在向量库中找最相似的文档块 生成阶段：把检索到的文档块作为上下文 检索：用向量相似度找相关文档 检索就是：把用户问题也转成向量，然后和所有文档块的向量算相似度（常用余弦相似度），取最相似的几个块作为上下文。 实际项目建议： 文档更新时，可以增量更新：只重新向量化变更的块 添加元数据过滤：检索时可以按文件名、日期等过滤 混合检索：结合关键词检索（BM25）和向量检索，效果更好 写在最后 RAG 的核心流程就是三步
19410编辑于 2026-03-02- 来自专栏booth
文档检索的未来：决策树算法的优势和创新
在文档管理系统中，决策树算法可以用于对网络流量进行分类、监测特定行为、检测网络攻击等。 决策树算法在文档管理系统中的优势在于：简单易懂。决策树算法不需要了解复杂的数学概念和算法，易于理解和使用。可以处理大规模的数据集。决策树算法可以对大规模的数据集进行分类和预测，速度很快，效果显著。 然而，决策树算法在文档管理系统中的误区主要在于：过度拟合。当决策树算法在训练过程中过度拟合数据集时，可能会导致训练数据集的分类效果很好，但在新的测试数据集上表现很差。特征选择不恰当。 决策树算法在文档管理系统中的具体例子包括：通过构建决策树模型，对网络流量进行分类和排序，以确定网络行为模式。利用决策树算法检测和预测网络攻击和恶意流量的行为模式，以及与正常网络流量和行为的区别。
33240编辑于 2023-09-12 - 来自专栏码农那些事！！！
SpringBoot+ElasticSearch实现文档内容抽取、高亮分词、全文检索
attachment.content字段，一定要使用分词，不使用分词的话，检索会检索不出来内容 第四步：测试 { "id":"1", "name":"进口红酒", "filetype":"pdf ，高亮显示了 三.代码 介绍下代码实现逻辑：文件上传，数据库存储附件信息和附件上传地址；调用es实现文本内容抽取，将抽取的内容放到对应索引下；提供小程序全文检索的api实现根据文件名称关键词联想，文件名称内容全文检索模糊匹配 ApiOperation("关键词联想") @ApiImplicitParams({ @ApiImplicitParam(name = "contenttype", value = "文档类型 Integer", dataTypeClass = Integer.class), @ApiImplicitParam(name = "contenttype", value = "文档类型 Collectors.toList()); } } return newResult; } /** * 高亮分词搜索其它类型文档
3.2K11编辑于 2024-03-18 《谷歌Gemini 1.5：长语境理解重塑文档分析与检索新格局》
谷歌Gemini 1.5的问世，凭借其卓越的长语境理解能力，在文档分析和检索任务方面掀起了一阵技术革新的浪潮。以往的大语言模型在处理长文本时，常因上下文窗口的限制而出现信息丢失、理解偏差等问题。 在文档分析领域，Gemini 1.5的长语境理解能力犹如一把精准的手术刀，能够深入剖析复杂文档。 在文档检索方面，Gemini 1.5带来了前所未有的准确性和效率提升。想象一下，在一个拥有海量文档的数据库中，传统检索方式可能只能根据关键词进行简单匹配，常常出现检索结果不准确、相关度低的情况。 在处理多语言文档检索时，Gemini 1.5的优势更加明显。它能够跨越语言障碍，准确理解不同语言文档的内容，实现多语言文档的高效检索。 谷歌Gemini 1.5的长语境理解能力为文档分析和检索任务带来了巨大的变革，虽然还存在一些挑战，但它无疑为人工智能在这两个领域的应用开辟了新的道路，让我们对未来智能文档处理充满期待。
30910编辑于 2025-04-21- 来自专栏腾讯开源的专栏
WeKnora：基于大模型的新一代文档理解与检索框架
腾讯近期正式开源了全新的文档理解与语义检索框架 WeKnora（维娜拉），这是一套专为结构复杂、内容异构的文档场景打造的智能问答解决方案。 官网地址：https://weknora.weixin.qq.com 架构设计 WeKnora采用现代化模块化设计，构建了一条完整的文档理解与检索流水线。 系统主要包括以下几个核心模块： 1. 企业知识管理：内部文档检索、规章制度问答、操作手册查询。 2. 科研文献分析：论文检索、研究报告分析、学术资料整理。 3. 产品技术支持：产品手册问答、技术文档检索、故障排查。 4. 知识图谱可视化 WeKnora 支持将文档转化为知识图谱，展示文档中不同段落之间的关联关系： 开启知识图谱功能后，WeKnora会分析并构建文档内部的语义关联网络，不仅帮助用户理解文档内容，还为索引和检索提供结构化支撑 项目地址：https://github.com/Tencent/WeKnora 立即访问 GitHub 仓库，了解更多详情，共同构建更智能、更高效的文档理解与检索新范式！
8.5K31编辑于 2025-08-07 - 来自专栏啦啦啦啦前端
信息检索格式 布尔检索式
信息检索格式 布尔检索式 名称 符号 表达式 功能 逻辑与 * 或and AB 同时含 有提问词A和B的文献，为命中文献 逻辑或 + 或or A+B 凡是含有提问词A或B的文献，为命中文献 逻辑非
1.6K40编辑于 2023-02-11 - 来自专栏入门小站
开源文档型知识库管理系统,强大的全文检索与文档分类管理功能,你值得拥有
我们积累下来的文档，是一笔巨大的财富，但文档越多，我们在其中找到我们所需要文档的时间成本越高。 我们面对大量的文档一筹莫展，就好像面前座立着一金山，但我们却不知道如何开采金子。 科亿知识库宗旨是: 文档简单整理，知识创造价值 适用项目 科亿知识库，可以应用在任何需要进行常用文档整理、分类、归集、检索的地方，尤其适合知识密集型单位/历史文档丰富的单位。 科亿知识库基于强大的Elasticsearch检索引擎技术构建，检索能力强大，支持最全面的检索特性，同时检索性能卓越，可以无限可能的集群扩展，支持高达百亿级别的记录数量。 │ ├─普通检索 │ ├─高级检索 │ ├─文档预览 │ ├─文档分类 │ ├─知识专题 │ ├─高频访问文档 │ ├─热词统计 │ ├─热门专题统计 ├─系统管理 │ ├─用户管理 检索首页 检索结果 高级检索 知识专题 管理后台 热词统计 批量上传 编辑
3.8K20编辑于 2022-11-14 - 来自专栏架构师成长之路
搜索引擎的检索模型-查询与文档的相关度计算
判断网页内容是否与用户査询相关，这依赖于搜索引擎所来用的检索模型。检索模型是搜索引擎的理论基础，为量化相关性提供了一种数学模型，是对查询词和文档之间进行相似度计算的框架和方法。其本质就是相关度建模。 那么单词与文档关系如下图: 检索结果就是D2和D5符合搜索条件。 这类似于传统数据库检索，是精确匹。一些搜索引擎的高级检索往往是使用布尔模型的思想。 因为布尔模型只是判断文档要么相关、要么不相关，它的检索策略基于二值判定标准，无法描述与查询条件部分匹配的情况。因此，布尔模型实际上是一个数值检索模型而不是信息检索模型。 2).单词的独立性:单词和检索式中词与词之间是相互独立。即文档里出现的单词之间没有任何关联，任一单词在文档的分布概率不依赖其他单词是否出现。 3).文献相关性是二值的:即只有相关和不相关两种。 语言模型 语言模型： 是借鉴了语音识别领域采用的语言模型技术，将语言模型和信息检索模型相互融合的结果 基本思想： 其他的检索模型的思考路径是从查询到文档，即给定用户查询，如何找出相关的文档
2.1K10编辑于 2022-04-14 - 来自专栏大数据杂货铺
全文检索、向量检索和混合检索的比较分析
全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。 它不是查找与文本查询匹配的文档，而是允许查找具有相似语义的文档。这是通过建立大型语言模型（LLM） 提供的文本语义理解来实现的。 大语言模型可以处理数据库记录并生成向量嵌入——文档语义的数字表示。 它非常适合理解文档的同义词和描述。它还适用于类似文档的发现。 Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。
6.2K10编辑于 2024-04-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号