Julia中的流式数据

Question

目前，有没有以流式方式读取Julia中的数据的好方法？

例如，假设我有一个CSV文件，该文件太大，内存无法容纳。目前有没有内置的函数或库可以方便地使用它呢？

我知道DataFrames中的原型DataStream功能，但目前还没有通过公共API公开。

Answer 1

eachline函数将IO源转换为行的迭代器。这应该允许您一次读取一行文件。从这里开始，如果将行转换为IOBuffer，那么readcsv和readdlm函数就可以读取每一行。

for ln in eachline(open("file.csv"))
  data = readcsv(IOBuffer(ln))
  # do something with this data
end

你自己做还是不错的，但步骤不是很多，所以也不算太差。