Mongodb Mongoid插入数据加速

Question

我需要将2.000.000行数据逐行插入到Mongodb中，但如果达到200.000行，就会变得非常慢，我使用的是Mongoid，我不知道是否可以在插入之前使用bulk我们，我需要数据验证。我怎样才能加快这一进程？非常感谢您的帮助！

Answer 1

为了显着地提高性能，您应该尝试通过Moped::Collection#insert进行批量插入。您必须亲自显式地调用#valid?。假设data_rows是Mongoid模型MyModel对象的数组，尝试如下所示。

slice_size = 1000    
data_rows.each_slice(slice_size) do |slice|
  slice.each{|data_row| raise "validation error" unless data_row.valid?}
  MyModel.collection.insert(slice.collect{|data_row| data_row.serializable_hash})
end

如果您可以以“原始”非Mongoid模型形式拦截您的导入数据，您可以通过插入哈希数组来绕过一些开销，但是您将不得不编写您自己的自定义验证程序，并且无法使用Mongoid模型验证。