Rails/MySQL在.save上的延迟编写(更新/写入)

Question

我正在做一个相当大的数据迁移项目，它涉及到在服务器和不同的活动记录模式之间移动数据。从字面上看，整个迁移需要几天时间。

如果我的Ruby迁移代码在调用活动记录保存方法时写入缓存(然后异步更新MySQL数据库)，我该如何实现缓存解决方案呢？内存不是限制。

Rails中的所有缓存解决方案似乎都能很好地处理加载/查询读操作，但是写操作是我找不到的。

这是不是在MySQL中通过调优配置参数就可以轻松做到的事情？或者，是否存在针对Ruby/Rails的缓存解决方案？

我看过延迟作业，尽管它不是一个缓存层(也不清楚是否有人将它用于对数据库的延迟写入)。我看过MySQL中的内存存储表，当然，它们不会写入磁盘。Memcached不是为此而构建的。

敬请指教！

Answer 1

您的意思是，如何在不等待MySQL更新所有索引的情况下快速插入数据，以便我的数据库迁移不会花费很长时间？

有两种解决方案可以加快数据库插入速度，但它们也有严重的缺点：

我发现INSERT DELAYED能帮上忙。它会触发您的查询并立即返回。MySQL将这些查询中的几个排队几秒钟，并在没有其他事情可做时应用它们。这对于日志记录和诸如此类的工作非常有用。

缺点是:如果你的数据库崩溃了，INSERT语句的队列就会丢失。

另一种选择是：

在不使用indices!

• Migrate的情况下，插入
• 创建新的数据库模式。这是更快的，因为MySQL将不必更新您的索引，而INSERTing.
• When所有的数据是迁移，添加您的索引。

这里的缺点是您的数据可能不一致。例如，您的源数据库具有您不希望在目标数据库中使用的重复值。

我强烈推荐的第三个选择是使用纯SQL而不是ActiveRecord。如果您需要迁移一百万条记录，ActiveRecord必须为您的ActiveRecord模型分配一百万次实例，执行查询，然后再次处理对象。

创建和处理这些对象并不需要花费太多时间，但是如果你做了一百万次，它就会累积起来。

如果你不走运，你会遇到内存泄漏，旧的对象将不会从内存中释放。这将消耗大量内存，并可能最终导致ruby进程崩溃。

切开中间人，在可能的地方使用原始SQL。使用ruby执行SQL是没有问题的，但要使其尽可能简单。

Answer 2

如果只想迁移数据，为什么不直接使用数据库中的存储过程呢？我确信这比使用ActiveRecord层更有效