发布于 2013-01-29 10:29:18
我从谷歌团体那里得到了有效而有帮助的答案。我想和大家分享一下。
限制不在于文档的数量:限制是对最终结果(或中间结果)所使用的内存量的限制。
因此:如果您聚合了20万个文档,但是结果符合16 if的结果,那么您就可以了。如果您聚合了100个文档,并且结果不适合16 MB,那么您将得到一个错误。
类似地,如果您对中间结果执行排序()或group(),并且该操作需要超过10%的可用RAM,那么您将得到一个错误。这与您拥有多少文档有很大的关系:这取决于管道的特定阶段有多大。
我可以通过任何设置增加16 via吗? 16 Is的限制是仅针对最终结果还是针对特定的聚合(即,中间结果+任何临时持有量+最终结果)?
16 is限制是不可调整的。这是MongoDB中文档的最大大小。由于聚合框架目前是作为命令实现的,因此聚合的结果必须在一个文档中返回:因此有16 MB的限制。
参见此帖子
发布于 2013-01-10 10:47:26
聚合框架可能发生的处理量取决于架构。
聚合框架目前只能输出一个文档的相对关系(对于要查看的更大的输出:https://jira.mongodb.org/browse/SERVER-3253 ),它将以以下形式输出:
{
result: { //the result },
ok: 1/0
}因此,您必须确保从$group/$project中得到的信息不会太大,以至于无法获得所需的结果。在大多数情况下,情况并非如此,即使在数百万行上,一个简单的$group也可能导致响应小于16 and。
我们不知道您的文档的大小或您希望这样运行的聚合查询,因此我们不能建议nout。
如果任何单个聚合操作消耗了10 %以上的系统RAM,则该操作将产生错误。
这是相当不言自明的。如果操作的工作集太大,占用10 %以上的内存(计算字段或分组字段上的$group/Computed字段/$sort),那么它将无法工作。
除非您尝试并滥用聚合框架来为您执行应用程序逻辑,否则您就不会真正遇到这个问题。
聚合系统目前将$group操作存储在内存中,这可能会在处理大量组时造成问题。
由于$group在内存中很难不做(它“分类”字段),这意味着对该组的操作也在内存中,即$sort --如果您不小心,就可以在这里开始使用10%。
https://stackoverflow.com/questions/14255816
复制相似问题