什么是弱学习者？

Question

我想要比较不同分类器的不同错误率与来自弱学习者的错误率(比随机猜测更好)。所以，我的问题是，对于一个简单、容易处理的弱学习者来说，有哪些选择？或者，我对概念的理解不正确，弱学习者仅仅是我选择的任何基准(例如，线性回归)？

Answer 1

比随机猜测更好

这基本上是对弱学习者的唯一要求。只要你能始终如一地击败随机猜测，任何真正的提升算法都将能够提高最终集成的准确性。那么，你应该选择的弱学习者是在3个因素之间进行权衡：

1. 模型的偏差。一般来说，我们希望能够快速学习一个弱学习者，因为我们将构建几百个(或数千个)弱学习者。
2. 我们的弱学习者的预测时间。如果我们使用一个预测速度很慢的模型，我们的整体预测速度将会慢几百倍！

典型的弱学习者是一棵决策树。通过更改树的最大深度，您可以控制所有3个因素。这使得它们在助推方面非常受欢迎。您应该使用什么取决于您的个人问题，但决策树是一个很好的起点。

注意:只要算法支持加权数据实例，任何算法都可以用于boosting。我的大学的一位客座演讲者为他在计算生物学方面的工作推广了5层深度神经网络。

Answer 2

弱学习器基本上是每个特征的阈值。一个简单的例子是一种称为decision stump的1级决策树，它应用于打包或提升。它只为一个特征选择一个阈值，并在该阈值上拆分数据(例如，根据petal width确定虹膜花是杂色虹膜还是处女鸢尾)。然后，通过打包或AdaBoost对其进行此特定功能的训练。