带有Adaboost的决策树/树桩

Question

我刚开始与Adaboost一起学习决策树，并在OpenCV上试用，并有一些问题。

增强决策树

我知道，当我使用Adaboost与决策树，我不断地拟合决策树，以重新加权版本的培训数据。分类以加权多数票进行。

当使用Adaboost训练决策树时，我可以使用引导吗？也就是说，我们选择数据集的子集，并在每个子集上训练一棵树，然后将分类器输入Adaboost。

增强决策桩

我是否对决策桩使用同样的技术？或者我可以创建与功能数量相等的树桩吗？也就是说，如果我有两个有10个特性的类，在将分类器输入Adaboost之前，我会为每个特性总共创建10个决策集。

Answer 1

AdaBoost不仅在不同的子集上训练分类器，而且根据所达到的装配性能来调整数据集元素的权重。详细的描述可以找到这里。

是的，你可以使用同样的技术来训练决策桩。该算法大致如下：

1. 使用没有权重的初始数据集(与具有权重=1的每个元素相同)对决策结果进行训练。
2. 使用AdaBoost算法中的公式更新所有元素的权重。正确分类元素的权重应该变小，不正确分类的权重应该变大。
3. 使用当前的权重训练决策残桩。也就是说，不仅要尽量减少这个决策结果所犯的错误数量，而且要尽量减少错误权重的总和。
4. 如果没有达到所需的质量，请转到pt。2.