梯度提升树的弱学习分类/多类分类

Question

我是机器学习领域的初学者，我想学习如何使用梯度增强树(GBT)进行多类分类。我读过一些关于GBT的文章，但是关于回归问题，我找不到关于GBT多类分类的正确解释。我也检查GBT在科学知识-学习图书馆机器学习。GBT的实现是利用回归树作为弱学习者进行多类分类的GradientBoostingClassifier。

GB以提前阶段的方式建立了一个加性模型；它允许对任意可微损失函数进行优化。在每个阶段，n_classes_回归树都适用于二项或多项偏差损失函数的负梯度。二进制分类是一种特殊情况，其中只有一个回归树是归纳出来的。

来源：http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html#sklearn.ensemble.GradientBoostingClassifier

问题是，为什么我们用回归树来学习GBT而不是分类树呢？如果有人能给我解释为什么使用回归树而不是分类树，以及回归树是如何进行分类的，这将是非常有帮助的。谢谢

Answer 1

在这里，您将“回归”解释得太过字面意思(作为数字预测)，情况并非如此；记住，分类是用逻辑回归处理的。例如，请参阅您所链接的文档页中的损失条目：

损失：{‘偏差’，‘指数’}，可选(默认=‘偏差’) 损失函数有待优化。“偏差”是指对概率输出进行分类的偏差(= logistic回归)。对于损失‘指数’梯度增强恢复AdaBoost算法。

因此，“分类树”只是一棵带有loss='deviance'的回归树。