我正在读取一个10mb大小的文件,其中包含一些id,我将它们读入ruby格式的列表中。我担心它可能会在未来导致内存问题,当文件中的id的数量可能会增加。有没有一种有效的批量读取大文件的方法?
谢谢
发布于 2010-06-03 06:53:30
没有通用的方法。
1)支持分块读文件:
File.open('filename','r') do |f|
chunk = f.read(2048)
...
end文本缺点:如果子字符串在块之间,您可能会错过它,例如,您查找"SOME_TEXT",但是"SOME_“是第一个2048字节块的最后5个字节,而”“是第二个块的4个字节
2)您可以逐行阅读文件
File.open('filename','r') do |f|
line = f.gets
...
end缺点:这种方式比第一种方法慢2倍..5倍
发布于 2016-12-10 05:44:02
使用Lazy Enumerators和each_slice,您可以两全其美。您不需要担心在中间剪切行,并且可以在批处理中迭代多行。batch_size可以自由选择。
header_lines = 1
batch_size = 2000
File.open("big_file") do |file|
file.lazy.drop(header_lines).each_slice(batch_size) do |lines|
# do something with batch of lines
end
end它可以用于将一个巨大的CSV文件导入到数据库中:
require 'csv'
batch_size = 2000
File.open("big_data.csv") do |file|
headers = file.first
file.lazy.each_slice(batch_size) do |lines|
csv_rows = CSV.parse(lines.join, headers: headers)
# do something with 2000 csv rows, e.g. bulk insert them into a database
end
end发布于 2021-05-14 23:32:09
如果你非常担心速度/内存效率,你有没有考虑过在shell中使用grep、awk、sed等?如果我对输入文件的结构和您试图提取的内容有更多的了解,我可能会为您构造一个命令。
https://stackoverflow.com/questions/2962134
复制相似问题