处理K-意味着使用大数据集6gb与scikit学习？

Question

我用的是科学知识。我想对6gb的文档数据集进行集群，并找到文档集群。

不过，我只有大约4Gb的内存。有没有办法让k-方法处理大数据集的科学知识-学习？

谢谢，如果你有什么问题请告诉我。

Answer 1

将MiniBatchKMeans与HashingVectorizer结合使用；这样，您就可以在数据上一次传递一个集群模型，或者在第二次传递时分配集群标签。有一个演示MBKM的示例脚本。

Answer 2

聚类本身并不是一个定义良好的问题(“好的”聚类结果取决于您的应用程序)，而k均值算法只给出了基于随机初始化准则的局部最优解。因此，我怀疑对数据集的随机2GB子样本进行聚类所得到的结果在质量上与在整个6GB上得到的聚类结果不同。我当然会尝试将简化数据集上的聚类作为第一个调用端口。接下来的选择是更智能地对样本进行子采样，或者使用不同的子集进行多次训练运行，并在多次运行中进行某种选择/平均。