使用MySQL/PHP导入大量数据

Question

我们创建了一个导入脚本，该脚本将大约120 We的数据导入MySQL数据库。数据保存在几个hunderd目录中(所有都是独立的数据库)。每个目录都包含具有表结构和表数据的文件。

问题是，它可以在本地机器上使用实际数据的子集，但是当导入在服务器上运行时(这需要几天)。并不是所有的表都是创建的(即使是在本地测试的表)。奇怪的是，当在服务器上运行时，脚本在创建表时不会显示任何错误。

下面是脚本的工作原理：

1. 查找表示数据库的所有目录。
2. 创建所有数据库
3. 每个数据库循环遍历表:创建表，填充表

在gist上添加代码：https://gist.github.com/3349872

Answer 1

问题就在密码里。非常愚蠢的错误。

在所有文件的子集上测试代码时，所有表信息和表内容(如果有的话)。当未创建表计数时，该函数输入一个日志语句并返回。在真实的数据上，这是一个错误，因为有没有数据和结构的文件，所以在创建几个表之后，这个特定数据库表的创建就出错了，做了一个返回，所以没有创建其他表。

Answer 2

添加更多日志记录，以查看由于内存使用或执行时间可能出现问题而执行的步骤。

为什么不从给定的CVS文件创建sql文件，然后在bash中进行正常导入？

mysql -u root -ppassword db_something< db_user.sql