DecisionTreeRegressor在GradientBoostingClassifier的罩下

Question

我正在检验我的GradientBoostingClassifier模型的弱估计量。该模型适用于二进制类数据集。

我注意到，该集合分类器下的所有弱估计器都是决策树回归对象。这在我看来很奇怪。

我选择了集合中的第一棵决策树，并使用它对整个数据集进行独立预测。来自数据集的唯一答案如下：

array([-2.74, -1.94, -1.69, ...])

我的问题是:梯度增强分类器为什么以及如何将弱估计器转化为不受0和1约束的回归量任务(而不是分类任务)？最终，GradientBoostingClassifier输出0到1之间的伪概率:为什么弱估计的集合不做同样的工作？

Answer 1

在阅读了更多的文档之后，我找到了涵盖分类案例的部分。可以找到这里。此外，这个状态任务非常有用。

1.11.4.5.2.分类梯度提升与回归情况非常相似。然而，树的和与预测不一致:它不能是一个类，因为树可以预测连续的值。从值到类或概率的映射依赖于损失。对于偏差(或日志丢失)，属于正类的概率被建模为sigmoid函数所在的位置。对于多类分类，K树(对于K类)是在每次迭代中构建的。属于k类的概率被建模为值的一个softmax。请注意，即使对于分类任务，亚估计器仍然是一个回归者，而不是分类器。这是因为亚估计器被训练来预测(负)梯度，这些梯度总是连续的。