text2vec与RHadoop的兼容性

Question

目前，我们在亚马逊网络服务EC2(single instance)中使用text2vec处理大数据集，未来文本数据会越来越大，我们可能会尝试RHadoop(MapReduce)架构，但不知道它是否能兼容text2vec和RHadoop(MapReduce)。

Answer 1

简而言之，答案是肯定的--如果你真的想要，你可以用RHadoop做任何事情。但我非常肯定，这项工作将是实质性的，您可能不会对结果感到满意。

回到真正的问题。值得一试的是text2vec 0.5版(上周发布)--它比以前消耗更少的内存。此外，您还可以轻松地使用块和并行处理数据。例如，检查this vignette。

另一件事是，对于像分类这样的基本任务，您通常不需要RAM中的所有数据。例如，您可以检查另一个my package - FTRL以增量方式使用SGD拟合逻辑回归(具有L1/L2/elasticnet惩罚)。

如果能从你那里得到关于github内存问题的报告(实际上是来自Matrix包)，那就太好了。

PS树方法和集成通常不适合稀疏的高维数据。