如何运行大型feather R数据库

Question

我正在尝试使用下面的代码将一个4 8GB的数据库(大约9,000,000个obs和100个变量)导入到使用windows 10和8 8GB的R中

library(feather)
memory.limit(size=99999)

rais_transp = read_feather('rais_transp.feather')

但每次我尝试运行它时，都会收到以下错误消息

"r encountered a fatal error: the session was terminated"

我尝试只下载一个列，但仍然收到相同的消息，会话重新启动

rais_transp = read_feather('rais_transp.feather', columns=c('black'))

我曾经可以在我的计算机上处理这个数据库，但现在我不能再运行它了。

有人来帮我吗？

谢谢

Answer 1

我在使用.csv时遇到了类似的问题，我遵循了下面的步骤：

当你使用windows的时候，你应该安装cygwin来预处理这个文件。安装后，您可以使用cygwin shell将您的文件拆分成较小的块，并在上面写入：

split -b100m rais_transp.csv

正如danh指出的那样，您必须将其转换为csv。命令-b100m意味着您的新文件块将具有100MB的大小。至于羽化大小比csv文件小，也许你需要做更小的块。例如，您可以使用-b 1024k获取1MB的区块。

您可以在Efficient R Programming一书的第5.3.2和6.6点中找到相关的有用信息。

在这里你可以找到检查这一点的链接：https://csgillespie.github.io/efficientR/data-carpentry.html#working-with-databases