“梯度助推机”和GBDT是完全一样的吗？

Question

在梯度提升的范畴中，我发现一些术语令人困惑。

我知道，与传统梯度增强相比，XGBoost包含了一些优化。

• 但是梯度增强器(GBM)和GBDT是一回事吗？他们只是名字不一样吗？
• 除了GBM/GBDT和XGBoost之外，还有其他的模型属于梯度提升的范畴吗？

Answer 1

Boosting是一种集合技术，其中预测器是一个接一个的集合(youtube教程)。梯度增强的术语梯度是指利用梯度下降(梯度下降的升压算法 )的优化技术对它们进行集成。

在这种情况下，你可以提升你想要的任何类型的模型(据我所知)。此外，在科学知识学习图书馆中，梯度提升，它在集合文件夹下。您可以提升任何类型的模型(线性，svm) --它只是决策树在这种集成中获得了很好的结果。就像你可以用任何一种估计器来做一个打包，但是如果你用一个决策树来做，并且增加一些技术，你可以称它为随机森林。

来自scikit的学习文档：GB以提前阶段的方式构建了一个加性模型；它允许对任意可微损失函数进行优化。在每个阶段，对给定损失函数的负梯度拟合回归树。

但是梯度增强器(GBM)和GBDT是一回事吗？他们只是名字不一样吗？

梯度增强机是一种集成的梯度增强决策树，是以树作为估计器的一种特殊情况。

除了GBM/GBDT和XGBoost之外，还有其他的模型属于梯度提升的范畴吗？

您可以使用任何您喜欢的模型，但是决策树在实验上是最好的。

“增强已经被证明可以改善不稳定学习者的预测性能，比如决策树，而不是像支持向量机这样的稳定学习者。”朱启明TingLian，斯普林格。