首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Mongo全集合扫描是否读取集合中的每一个单词?

问Mongo全集合扫描是否读取集合中的每一个单词?
EN

Stack Overflow用户
提问于 2021-01-27 04:53:51
回答 2查看 57关注 0票数 0

比方说,由于某些合法的原因,您没有为某些内容建立索引(例如,您可能达到了64个允许的索引的上限),并且您只在某些字段中搜索值。

更极端的是,假设每个对象都有一个authorName字段、bookTitles字段和bookFullText字段(收集了所有小说的内容)。

如果没有索引,并且查找authorNames列表,它是必须读取整个集合中所有字段的所有内容,还是只读取authorName字段和名称,而不读取其他字段的内容?

EN

回答 2

Stack Overflow用户

发布于 2021-01-27 06:29:35

文档中的字段是有序的。服务器将文档存储为键-值对列表。因此,我预计,如果服务器正在执行集合扫描和字段比较,服务器将:

在特定文档中,跳过相关字段之前的所有字段,一次跳过一个字段(这需要服务器对每个字段名称执行字符串比较),跳过特定文档中相关字段之后的字段(在collection).中跳到

以上内容适用于比较。从磁盘读取的情况如何?

我熟悉的基本数据库设计将逻辑记录( MongoDB中的文档,关系数据库中的表行)与物理页面分开。出于性能原因,数据库通常不会从磁盘读取文档,而是读取页面。因此,在我看来,数据库在将文档映射到页面时不太可能跳过某些字段。我希望当需要文档的任何字段时,将从磁盘读取整个文档。

进一步支持这一假设的是MongoDB的16MB文档限制。这是相当低的,我怀疑其设置是这样的:服务器可以将文档完全读入内存,而不必担心文档可能非常大。例如,Postgres在存储数据的位置上区分了VARCHAR和TEXT类型- VARCHAR数据以内联方式存储在表行中,而TEXT数据单独存储,大概是为了避免在需要任何列值时必须从磁盘读取数据的问题。

我不是一个MongoDB服务器工程师,所以上面的说法可能是错的。

票数 1
EN

Stack Overflow用户

发布于 2021-01-27 06:35:23

  1. BSON文档通常保存在32KB的块中(wiredTiger snappy压缩),在64MB(默认大小)的块中存储,如果您的文档压缩大小为48KB,则必须将两个块分别加载到内存中,以解压缩和搜索您的非索引字段,这是昂贵的操作,而且如果您搜索多个文档,它们通常不是按顺序写入的块,这增加了对后端存储的IOPS的需求,这就是为什么最好做一些初步分析和索引的字段,您将主要搜索和创建索引,索引(B树)非常有效,因为它们大部分时间都在内存中进行压缩(前缀压缩),并且字段搜索速度非常快。

  1. mongodb中的文本索引足以进行一些简单的文本搜索,您也可以使用正则表达式。

  1. 如果你要在大多数情况下进行全文搜索,你最好有像elasticsearch这样的搜索引擎,它支持数据库前面的倒排索引,因为倒排索引已经计算了你的全文结果,并且可以比使用标准B树索引的类似操作更快地给出结果。

  1. 如果您使用的是ATLAS ( mongodb云服务),那么已经集成了lucene引擎(反向索引),可以为您执行全文搜索。

我希望我的回答能对这个问题有所启发... :)

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65909128

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档