使用Django和转换将大型CSV文件加载到MySQL

Question

我有一个很大的CSV文件(5.4 of )数据。这是一个包含6列和很多行的表。我想跨多个表将其导入到MySQL中。此外，在导入之前，我必须对数据进行一些转换(例如，解析一个单元格，并将各个部分输入到几个表值中等)。现在，我可以执行脚本、执行转换并一次插入一行，但导入数据将需要数周时间。我知道MySQL有LOAD DATA INFILE，但我不确定如何或是否可以在SQL语言中进行所需的转换。

有什么建议该怎么做吗？

Answer 1

在我有限的经验中，您不会想要将Django ORM用于这样的事情。这将会太慢了。我将使用Python的csv库编写一个Python脚本来操作CSV文件。然后使用本机MySQL工具LOAD DATA INFILE加载数据。

如果处理CSV文件的Python脚本太慢，您可以考虑用C或C++编写该部分，前提是您可以找到适用于这些语言的不错的CSV库。