利用Adaboost选择特征向量中的最佳特征

Question

我读过一些关于Adaboost如何工作的文档，但也有一些关于它的问题。

我还读过Adaboost还从数据中选择了最好的特性，除了加权弱分类器之外，并在测试阶段使用它们来高效地执行分类。

Adaboost如何从数据中选择最佳特性？

如果我对Adaboost的理解是错误的，请纠正我！

Answer 1

在某些情况下，Adaboost中的弱分类器(几乎)等于特征。换句话说，使用单一的特征进行分类可以得到比随机性能稍好的结果，因此可以作为弱分类器使用。Adaboost会在训练数据中找到一组最好的弱分类器，所以如果弱分类器等于特征，那么您将得到最有用的特征的指示。

类似于特征的弱分类器的一个例子是决策桩。

Answer 2

好的，adaboost基于它的基本学习者树来选择特征。对于一棵树，有几种方法可以估计单个特性对树的贡献有多大，在某个地方称为相对重要性。对于累加法，一种包含多棵树的归纳法，可以通过测量每个特征对每个树的显着性来计算每个特征对最终模型的相对显着性，然后将其平均。

希望这能帮到你。