从rails应用程序将csv导入多个mysql数据库

Question

我有一个由78,000个records.Im组成的CSV文件，使用smarter_csv (csv)解析csv文件。我想从我的rails应用程序中将它导入到MySQL数据库中。我有以下两个问题

1. 从我的rails应用程序中快速将这么大的数据集导入MySQL的最佳方法是什么？使用resque或sidekiq创建多个员工是一个好主意吗？
2. 我需要将这些数据插入到一个给定的表中，该表存在于多个数据库中。在Rails中，我只与一个数据库进行模型对话。那么，如何扩展解决方案，以便从我的模型中与多个mysql数据库对话呢？

谢谢

Answer 1

一种方法是使用数据库应用程序本身的本机接口进行导入和导出；为此目的将对其进行优化。

对于MySQL，mysqlimport提供了这个接口。注意，导入也可以作为SQL语句来完成，并且这个可执行文件为底层SQL命令提供了一个更清晰的接口。

就实现而言，如果这是一个频繁的导入操作，则sidekiq/resque/cron作业是可能的最佳方法。

编辑

正如另一个答案所指出的，上面提到的SQL命令是LOAD DATA INFILE。

Answer 2

就性能而言，最好的方法可能是使用MYSQL的负载数据信息语法，并在每个数据库上执行一个导入命令。这要求数据文件是每个数据库实例的本地文件。

另一个答案是，mysqlimport可以用来简化导入，因为LOAD语句语法是高度可定制的，并且可以处理许多数据格式。