读取非常非常大的NDJSON

Question

我有一个33 2GB的NDJSON文件，我需要读取到一个data.table在R。它是keep到一个2 2GB的文件，理想情况下，我想保持压缩。

结构并不是那么重要，除了(通过jsonlite::stream_in导入时)，我需要的数据只存在于几个简单的列中。绝大多数数据的权重都保存在list中，我想尽快丢弃三列。

我面临的两个挑战是:如何并行化读入，以及如何限制内存使用(目前我处理此文件的工作人员使用175 in内存)？

我现在要做的是：

dt.x <- data.table(flatten(stream_in(gzfile("source.gz"))[, -c(5:7)]))

想法：

也许有一些方法可以在stream_in期间忽略NDJSON的一部分

在连接到stream_in之前，我是否可以解析gzfile连接，例如使用正则表达式，以删除多余的数据？

我是否可以在gzfile连接上执行类似readLines的操作，以读取每个worker 100万行的数据？

编辑:如果可能的话，我的目标是让它对其他用户可移植，并将其完全保留在R中。

Answer 1

将jqr与readr一起使用

下面是一个文字记录，演示了如何使用jqr读取gzipped压缩的NDJSON (也称为JSONL)文件：

$ R --vanilla
> library(readr)
> library(jqr)
> read_lines("objects.json.gz") %>% jq('.a')
[
    1,
    2,
    3
]
> 

使用read_file()会产生相同的结果。由于这些函数必须解压缩整个文件，因此需要大量的内存。

分别读取每个JSON实体

由于文件是NDJSON，我们可以通过一次读入一个JSON实体来显著减少所需的RAM量：

con = file("objects.json", "r");
while ( length(line <- readLines(con, n = 1)) > 0) {
   print( line %>% jq('.a') );
}

jq

使用jqr可能有更好的方法，但如果目标是空间和时间效率，那么最好使用jq的命令行版本。

计数

如果您需要预先计算(解压缩的)文件中的行数，那么为了节省内存，我可能会尽可能使用system2和wc；如果其他所有方法都失败了，您可以运行如下代码片段：

n<-0;
con = file("objects.json", "r");
while (TRUE) {
   readLines(con, n = 1);
   if (length(line) == 0) { break; }
    n <- n+1;
}