使用Mathematica导入大文件

Question

在那之后，我想用Mathematica导入很多大文件来执行NonlinearModelFit。因此，我使用了Import函数，如下所述：

files = FileNames["*.dat"];  
data = Parallelize[Import[#, "Table"] & /@ files]

问题是这一步非常..非常..。慢的。你有什么想法来改进这一部分吗？提前谢谢你。

Answer 1

使用

ReadList[#, String]&/@files

或

ReadList[#, Record]&/@files

例如，除了OP的注释之外，还有多种访问列的方法。

dataAsStrings = ReadList[#, String]&/@files;
flatterData = Flatten[dataAsStrings, 1];
splitData = StringSplit[#] & /@ flatterData;
column2 = splitData[[All, 2]];

然后，也许可以使用ToExpression将字符串转换为数值。