自适应Boosting与SVM

Question

我正在处理一个二分类案例，并比较不同分类器的性能。在多个数据集上测试Adaboost算法(以决策树作为其基本分类器)对SVM的性能，我发现boosting算法的性能更好。

我的问题是，为什么会发生这种情况？这是因为boosting总是优于SVM吗？或者它与我的数据集的特征有关吗？有人能解释一下我身上发生了什么吗？

Answer 1

在统计学中，有一个名为没有免费午餐定理的定理，它本质上是说，当对所有可能的问题进行平均时，任何两个算法的性能是相等的，这在某种程度上也意味着“伙计，问题空间是无限大的，你已经尝试了太少的问题，无法推断哪个更好”。但老实说，根据我的经验，在实际情况下，我发现adboost在大多数情况下比SVM表现更好。

但在某些情况下，有时人们更喜欢使用SVM：

1)当训练数据量很大且计算时间很大时。这就是为什么支持向量机在大规模settings.Be中仍然有话语权，深度信任网络或ANN都比支持向量机计算量大。

2)当您的生产设置需要保持简单时，您可以选择计算时间和内存都很低的简单线性支持向量机(但是请记住，SVM中的复杂非线性内核比adboost占用的内存要多得多)

3)当数据集合理平衡时，即您在每个标签的训练数据中有足够的观察值。

在你的案例中，你可以改进的事情是：

1)尝试各种复杂的SVM核函数，看看它是否进一步提高了准确率。

2)尝试两者的组合。