如何集成集成python中的所有特征的分类器？

Question

我正在做一个文本分类任务(5000篇论文由10个标签平均分布)。我探索了LinearSVC，获得了80%的准确性。现在，我猜想用ensemble分类器作为基估计器是否能提高SVM分类器的精度？

但是，我不知道如何使用包含所有这些特性的ensemble分类器？请注意，我不想将不同的特征直接组合在一个向量中。

因此，我的第一个问题是:为了提高当前的估计精度，是否可以使用ensemble分类器以svm作为基估计器？我的第二个问题是如何使用包含所有特性的ensemble分类器？

Answer 1

Boostingscikit中的套袋允许您将基分类器作为参数发送。通过1.11的链接了解更多！

但是，既然你已经意识到支持向量机执行得更好，投票分类器中存在的sklearn.ensemble让你给那些你似乎表现良好的分类器赋予权重。例如，在你的问题中，支持向量机可以得到更多的权重。它还有另一个参数“投票”。如果是hard，则使用预测的类标签进行多数规则投票，如果是soft，则根据预测概率之和的最大值来预测类标签。

Answer 2

是的，使用支持向量机当然可以提高精度。

首先，我将研究已经准备好的ensemble算法，如随机森林算法或AdaBoost算法。它们可以包含所有的特性，并且是强有力的预测器。

此外，正如Hima答案中提到的，scikit-learn提供了voting_classifier来轻松地组合算法。但是你可以更进一步，做一些所谓的混合--你可以在你的数据集上加入不同的算法，然后，在它们的预测上，你加入另一组算法来产生最终的预测。它可以很容易地实现，请参阅此示例。