Rails activerecord-import:如何知道在一批中插入多少条记录？

Question

我刚刚开始使用activerecord-import，它比我以前做的逐个插入要快得多。我目前正在批量插入500条记录，我想知道其他人发现哪些是批量的好数字？我知道没有“一刀切”的答案。我只是想从其他有activerecord导入经验的人那里寻求一些指导。我看了documentation，用谷歌搜索了一下，什么也没找到。

补充信息:我使用Postgres，保存模型对象，而不是列和数组的值。

任何帮助都是非常感谢的。

Answer 1

activerecord-import将根据数据库适配器的max-allowed-packet将导入拆分成组，因此您不会遇到任何问题。优化是另一个问题。

我唯一关心的是内存分配--如果你已经分配了所有的对象，并且只是将它们分批提供给import调用，我会一次完成它们。

如果您正在为每个批处理动态生成对象(例如，在读取文件时)，您应该做一些测试，看看不同批处理大小下的内存使用情况。