强分类器的boosting效果

Question

使用强(而不是弱，错误率接近随机)的分类器提升的效果是什么？当一个强分类器与一组弱分类器一起使用时，有没有可能一个强分类器本身的表现比这个强分类器在adaboost中的表现更好？

Answer 1

是的，这是可能的。所有这些都取决于您的学习数据集。看看没有免费午餐的定理，总有一些数据集不符合特定的算法/启发式(甚至是它们的组合)。

当你在不同的数据集上使用相同错误率的算法时，事情变得更加有趣。分类器应该是强的还是弱的这一事实并没有改变boosting的好处。但是在boosting基础上的定理规定它的下限是一簇弱分类器。如果你使用小于弱分类器，它将无法工作。

在我的经验中，我从来没有发现过这样一个问题，我发现一个如此好/强的分类器，以至于任何其他分类器(比随机分类器更好)不能通过在某些数据集上进行boosting来提高性能。