read.csv.ffdf使用ff和ffbase包被卡在R中

Question

我从ff或ffbase包中运行了read.csv.ffdf。但它被以下消息卡住了

read.table.ffdf 1..1000 (1000)  csv-read=0.15sec ffdf-write=1.24sec
read.table.ffdf 1001..63015 (62015)  csv-read=9.89sec ffdf-write=8.84sec
read.table.ffdf 63016..125030 (62015)  csv-read=8.18sec ffdf-write=6.74sec
read.table.ffdf 125031..187045 (62015)  csv-read=8.15sec ffdf-write=6.72sec
read.table.ffdf 187046..249060 (62015)  csv-read=8.19sec ffdf-write=6.72sec
read.table.ffdf 249061..311075 (62015)  csv-read=8.05sec ffdf-write=7.13sec
read.table.ffdf 311076..373090 (62015)  csv-read=8.26sec ffdf-write=6.73sec
read.table.ffdf 373091..435105 (62015)  csv-read=8.26sec ffdf-write=6.8sec

文件大约包含800000行，但是为什么它停在这里，并且我不能从这一点开始运行任何东西？

Answer 1

您是否在使用read.csv.ffdf的transFUN参数？如果是，请确保从transFUN返回的行数与进入transFUN的data.frame的行数相同。

解释:当分块返回的记录少于next.rows参数时，read.csv.ffdf的导入就会停止，所以如果你在transFUN中设置子集，它就会停止。transFUN用于添加派生字段或清理数据，而不是子集。