首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >更快地持久化和刷新规则mongodb odm导入

问更快地持久化和刷新规则mongodb odm导入
EN

Stack Overflow用户
提问于 2012-08-31 00:26:15
回答 2查看 1.9K关注 0票数 1

我使用symfony2和doctrine odm从CSV文件导入产品数据。我创建了一个控制台命令来创建Product对象,然后持久化它们并刷新DocumentManager。冲水时间超过30秒,而我只有几千个产品。未来可能会有更多。

我想知道是否有任何优化/最佳实践可以在理论上更快地刷新大量新对象。似乎不需要对对象进行那么多处理,因为它们都是新的,只需要添加到集合中即可。

EN

回答 2

Stack Overflow用户

发布于 2012-12-27 04:21:41

我遇到了类似的问题(从csv加载数千个产品)。我的问题更多地围绕着内存不足,但解决方案也显示出速度的显着提高。

本质上,我在循环中放置了一个计数器,并刷新了管理器,然后将其清除。我发现150批大小产生了最好的结果。我确信这在很大程度上取决于你是如何处理它的,因为我在插入数据之前进行了大量的数字运算来清理数据。

作为参考,它加载了大约5,500个带有100+字段的产品,并在大约20秒内对它们进行处理。它在修改前花费了几分钟的3+时间(如果由于内存不足而完成的话)。

代码语言:javascript
复制
//LOOP  {
   if ($count % $batchSize == 0) {
      $manager->flush();
      $manager->clear();
      gc_collect_cycles();
      if ($count % $batchSize == 0)
         echo $count . ' | ' . number_format((memory_get_usage() / 1024), 4) . " KBs\n";
   }
$count++;
}

在循环完成后,不要忘记至少再运行$manager->flush()一次,以捕获循环中不会触发它的1-149条记录。

票数 2
EN

Stack Overflow用户

发布于 2013-07-03 21:47:02

我有一个非常大的数据库。我发现每次插入代码时刷新会更有效,更好地管理对数据库的访问。

代码语言:javascript
复制
$dm->persist($object);
$dm->flush();
$dm->clear();
票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/12201391

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档