删除行ff包

Question

一段时间以来，我一直在使用ff包来处理大数据。我使用过的R对象大约有130.000.000行和14列。其中两列，温度和降水缺少值“NA”，所以我需要删除这些行，以便继续我的工作。我一直在尝试像在普通的R对象中那样做：

data<-data[!is.na(data$temp),]

但我一直收到一个错误：

Error: vmode(index) == "integer" is not TRUE

有没有人能够删除ffdf对象中的行？如果能帮上忙我会很感激。

Answer 1

基于逻辑ff_vector的索引在ff中是不可能的，您需要提供ff个整数的向量。所以你可以像这样做这个子集

require(ffbase)
idx <- !is.na(data$temp)
idx <- ffwhich(idx, idx == TRUE)
data <- data[idx, ]

或者(使用6.3版本的ffbase)

require(ffbase)
data <- subset(data, !is.na(temp))