带有ff和FSelector包的r

Question

我有一个1360x92735CSV数据集，我必须使用R的FSelector包(information.gain())进行降维，但它需要大量的ram。

我的问题是，我可以将ff包与FSelector结合使用吗？如果是，是如何实现的？

附注：我在linux上有8 8GB的内存和8 8GB的交换空间。

谢谢。

编辑

我已经尝试在虹膜数据集上使用ff和FSelector包。它似乎工作得很好，但现在我对ff有一个问题。

我的csv数据集是1303x92735，当我尝试使用ff对象通过as.ffdf()转换数据帧，或者使用read.csv.ffdf()直接加载数据集时，R崩溃并显示"write error“。

Here有人也有同样的问题，但我不明白是否能找到解决方案。

谢谢。

Answer 1

该错误可能是由于ff为ff数据帧中的每一列打开文件的事实。您有92,735列，这可能比您的系统配置中打开的文件的最大数量多得多。我已经回答了这个on SO here。