在MapReduce中组合支持向量机分类器

Question

我的任务是使用scikit-learn、python和mapreduce解决情感分类问题。我需要使用mapreduce来并行化项目，从而创建多个SVM分类器。然后我应该将分类器“平均”在一起，但我不确定这是如何工作的，甚至不确定它是否可能。分类的结果应该是一个分类器，经过训练的平均分类器。

我已经使用scikit-learn SVM线性内核编写了代码，它可以工作，但现在我需要将它放入map-reduce，并行化的上下文中，我甚至不知道如何开始。

有什么建议吗？

Answer 1

1. 确保群集中的每个节点上都安装了所有必需的库( classifier.
2. Your -learn、NumPy、pandas)。
3. 您的映射器将处理每一行输入，即您的训练行，并发出一个键，该键基本上表示您将为其训练的文件夹。scikit将收集每个文件夹的行，然后在该文件夹的所有行上运行sklearn分类器。
4. 然后，您可以对每个文件夹的结果进行平均。