我使用symfony2和doctrine odm从CSV文件导入产品数据。我创建了一个控制台命令来创建Product对象,然后持久化它们并刷新DocumentManager。冲水时间超过30秒,而我只有几千个产品。未来可能会有更多。
我想知道是否有任何优化/最佳实践可以在理论上更快地刷新大量新对象。似乎不需要对对象进行那么多处理,因为它们都是新的,只需要添加到集合中即可。
发布于 2012-12-27 04:21:41
我遇到了类似的问题(从csv加载数千个产品)。我的问题更多地围绕着内存不足,但解决方案也显示出速度的显着提高。
本质上,我在循环中放置了一个计数器,并刷新了管理器,然后将其清除。我发现150批大小产生了最好的结果。我确信这在很大程度上取决于你是如何处理它的,因为我在插入数据之前进行了大量的数字运算来清理数据。
作为参考,它加载了大约5,500个带有100+字段的产品,并在大约20秒内对它们进行处理。它在修改前花费了几分钟的3+时间(如果由于内存不足而完成的话)。
//LOOP {
if ($count % $batchSize == 0) {
$manager->flush();
$manager->clear();
gc_collect_cycles();
if ($count % $batchSize == 0)
echo $count . ' | ' . number_format((memory_get_usage() / 1024), 4) . " KBs\n";
}
$count++;
}在循环完成后,不要忘记至少再运行$manager->flush()一次,以捕获循环中不会触发它的1-149条记录。
发布于 2013-07-03 21:47:02
我有一个非常大的数据库。我发现每次插入代码时刷新会更有效,更好地管理对数据库的访问。
$dm->persist($object);
$dm->flush();
$dm->clear();https://stackoverflow.com/questions/12201391
复制相似问题