将大型csv文件导入mySql

Question

我正在尝试将300 mg csv文件导入到mySql表中。我使用这个命令：

LOAD DATA INFILE 'c:/csv/bigCSV.csv' IGNORE 
INTO TABLE table
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES

它对小文件(1 mg等等)很有效，但是当我试图加载一个像上面提到的大文件时，MySql工作台(我用它来执行我的查询)运行命令，一切正常和绿色，但0行受影响。表中没有任何更改。

我10000%确定这个表是正常的，因为当我取该文件的一部分，例如1 1mg并将其加载到同一个表中时，它工作得很好。

有没有人遇到过这样的问题？

谢谢。

Answer 1

我已经“解决”了。不知道为什么，我觉得自己很愚蠢，因为我没有玩弄之前的声明，但就像这样：

LOAD DATA INFILE 'c:/csv/eventsbig.csv' IGNORE 
INTO TABLE std9
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'

在末尾没有“忽略1行”，它可以处理任何大小的文件。

Answer 2

LOAD DATA LOW_PRIORITY LOCAL INFILE 'C:\\Learning\\App6_DBconnection\\CC.csv' 
INTO TABLE `test`.`ccd` 
CHARACTER SET armscii8 
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '"' LINES TERMINATED BY '\r\n' 
IGNORE 1 LINES (`Cd_Type`, `Full_Name`, `Billing_Date`);

即使对于超过150万条记录的大型数据集，这也是可行的。