我是个数据库新手,需要帮助。我有n个(大)文件,每个文件包含m个(非常大的)文本文件(数字数据)。将这些文件导入mysql数据库的最佳方式是什么?
发布于 2011-10-31 00:00:27
通常使用perl (或其他脚本语言,提供MySQL支持)编写脚本,一个接一个地处理文件,对文件中的文件/行进行必要的处理。如果你想要更具体的答案,可以问更具体的问题
发布于 2013-11-01 11:19:45
如果你只需要做一次,或者导入过程每次都很相似,我建议使用ETL software Kettle by Pentaho (这个软件通常被称为水壶)。虽然这个软件并不完美,但我发现我导入数据的时间通常比为一个特定文件编写脚本的时间要短。您可以选择文本文件输入并指定分隔符、固定宽度等。然后直接导出到您的SQL server (它们支持MySql、SQLite、Oracle等)。
如果你想研究类似的其他类型的软件,它通常被称为ETL软件,是Extract Transform Load的缩写。
如果你熟悉python,我也推荐上一篇关于this page的文章
https://stackoverflow.com/questions/7945672
复制相似问题