更快或并行地将csv文件加载到mysql中

Question

我有一个包含主auto_increment键的mysql表。

我有500个csv文件，每个文件大约有3 3gb的数据，大部分数据在一列中。

目前，我使用以下命令将文件加载到mysql中：

#!/bin/bash
for file in /files/*.csv
do
    mysql -e "load data local infile '$f' into table myTable FIELDS TERMINATED BY ',' 
    ENCLOSED BY '\"' escaped by '\"' IGNORE 1 LINES"  -u user -ppass
done

有什么方法可以提高性能吗？也许在插入时删除主键，然后在之后添加它？或者有没有一种方法可以并行插入而不是一次插入一个文件？

Answer 1

从版本5.0.17开始，新的JSON有一个用于MySQL、TSV和JSON文件的并行批量加载器。