首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何处理Mongo聚合/ Mongo聚合的性能

问如何处理Mongo聚合/ Mongo聚合的性能
EN

Stack Overflow用户
提问于 2013-01-10 10:33:07
回答 2查看 5.5K关注 0票数 8

我建了一个MongoDB。我想通过某些分组进行聚合。我找到了这个文档,它能帮我做到这一点。一切都很好,但是某些局限性被指出:

  1. 管道的输出只能包含16兆字节。如果结果集超过此限制,聚合命令将产生错误。
  2. 如果任何单个聚合操作消耗了10 %以上的系统RAM,则该操作将产生错误。
  3. 聚合系统目前将$group操作存储在内存中,这可能会在处理大量组时造成问题。

我可以用MongoDB聚合处理多少行/文档?我不敢用这个。有人能指点我吗?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2013-01-29 10:29:18

我从谷歌团体那里得到了有效而有帮助的答案。我想和大家分享一下。

限制不在于文档的数量:限制是对最终结果(或中间结果)所使用的内存量的限制。

因此:如果您聚合了20万个文档,但是结果符合16 if的结果,那么您就可以了。如果您聚合了100个文档,并且结果不适合16 MB,那么您将得到一个错误。

类似地,如果您对中间结果执行排序()或group(),并且该操作需要超过10%的可用RAM,那么您将得到一个错误。这与您拥有多少文档有很大的关系:这取决于管道的特定阶段有多大。

我可以通过任何设置增加16 via吗? 16 Is的限制是仅针对最终结果还是针对特定的聚合(即,中间结果+任何临时持有量+最终结果)?

16 is限制是不可调整的。这是MongoDB中文档的最大大小。由于聚合框架目前是作为命令实现的,因此聚合的结果必须在一个文档中返回:因此有16 MB的限制。

参见此帖子

票数 18
EN

Stack Overflow用户

发布于 2013-01-10 10:47:26

聚合框架可能发生的处理量取决于架构。

聚合框架目前只能输出一个文档的相对关系(对于要查看的更大的输出:https://jira.mongodb.org/browse/SERVER-3253 ),它将以以下形式输出:

代码语言:javascript
复制
{
    result: { //the result },
    ok: 1/0
}

因此,您必须确保从$group/$project中得到的信息不会太大,以至于无法获得所需的结果。在大多数情况下,情况并非如此,即使在数百万行上,一个简单的$group也可能导致响应小于16 and。

我们不知道您的文档的大小或您希望这样运行的聚合查询,因此我们不能建议nout。

如果任何单个聚合操作消耗了10 %以上的系统RAM,则该操作将产生错误。

这是相当不言自明的。如果操作的工作集太大,占用10 %以上的内存(计算字段或分组字段上的$group/Computed字段/$sort),那么它将无法工作。

除非您尝试并滥用聚合框架来为您执行应用程序逻辑,否则您就不会真正遇到这个问题。

聚合系统目前将$group操作存储在内存中,这可能会在处理大量组时造成问题。

由于$group在内存中很难不做(它“分类”字段),这意味着对该组的操作也在内存中,即$sort --如果您不小心,就可以在这里开始使用10%。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/14255816

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档