用于导入和导出大型数据文件的合理数据管理工具

Question

我正在寻找一些关于大型数据文件的数据管理工具的合理建议。

我一直在试验aith excel和access，结果发现access在导入文件大小上有限制，这让我措手不及。

我一直在研究dbase和其他一些开箱即用的解决方案，但我只是希望找到最适合我需要的东西。

我的典型数据处理过程如下：

1. 导入通用、管道或其他常见分隔格式的大型.txt文件。
2. 一旦导入数据，运行查询，例如合并单元格，以及
3. 将我的最后查询导出为MySQL格式..。

我正在处理的表格有数百万张大的记录，正如我所说，Access无法再处理它们。

谢谢你对这份工作最好的软件的任何想法或建议。

Answer 1

听起来你应该去看看MySQL'sload data infile ...。文档声称加载行是一个非常快的方式。(我个人从来没有一次装载过数百万行)。

加载数据后，您可能需要/希望向表中添加适当的索引，以帮助加快查询性能。

要从MySQL中获取数据，请查看select ... into outfile。