首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Ruby -批量读取文件

问Ruby -批量读取文件
EN

Stack Overflow用户
提问于 2010-06-03 06:41:59
回答 3查看 7.7K关注 0票数 14

我正在读取一个10mb大小的文件,其中包含一些id,我将它们读入ruby格式的列表中。我担心它可能会在未来导致内存问题,当文件中的id的数量可能会增加。有没有一种有效的批量读取大文件的方法?

谢谢

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2010-06-03 06:53:30

没有通用的方法。

1)支持分块读文件:

代码语言:javascript
复制
File.open('filename','r') do |f|
  chunk = f.read(2048)
  ...
end

文本缺点:如果子字符串在块之间,您可能会错过它,例如,您查找"SOME_TEXT",但是"SOME_“是第一个2048字节块的最后5个字节,而”“是第二个块的4个字节

2)您可以逐行阅读文件

代码语言:javascript
复制
File.open('filename','r') do |f|
  line = f.gets
  ...
end

缺点:这种方式比第一种方法慢2倍..5倍

票数 10
EN

Stack Overflow用户

发布于 2016-12-10 05:44:02

使用Lazy Enumerators和each_slice,您可以两全其美。您不需要担心在中间剪切行,并且可以在批处理中迭代多行。batch_size可以自由选择。

代码语言:javascript
复制
header_lines = 1
batch_size   = 2000

File.open("big_file") do |file|
  file.lazy.drop(header_lines).each_slice(batch_size) do |lines|
    # do something with batch of lines
  end
end

它可以用于将一个巨大的CSV文件导入到数据库中:

代码语言:javascript
复制
require 'csv'
batch_size   = 2000

File.open("big_data.csv") do |file|
  headers = file.first
  file.lazy.each_slice(batch_size) do |lines|
    csv_rows = CSV.parse(lines.join, headers: headers)
    # do something with 2000 csv rows, e.g. bulk insert them into a database
  end
end
票数 33
EN

Stack Overflow用户

发布于 2021-05-14 23:32:09

如果你非常担心速度/内存效率,你有没有考虑过在shell中使用grep、awk、sed等?如果我对输入文件的结构和您试图提取的内容有更多的了解,我可能会为您构造一个命令。

票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/2962134

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档