理解CatBoost有序提升

Question

在视频Anna Veronika Dorogush - CatBoost - the new generation of Gradient Boosting中

她在15:30分钟谈到了“物体”。她到底是什么意思？功能？列？行？

经典提升和有序提升之间的区别到底是什么？经典只是将所有决策树相加吗？排序是否只使用之前随机分布的决策树并将其相加？所以不同之处在于随机分布吗？

我希望有人能帮助我，因为我真的很难理解这一点。

Answer 1

据我所知，她在视频中提到的“对象”是数据集的数据点/实例。catboost论文中提到的经典boosting问题是预测偏移。也就是说，模型在训练集中学到的东西不会反映在测试集中。他们说，问题的根源是训练阶段的每棵树都是在同一组数据点上训练的，因此没有机会遇到看不见的数据。

对于有序提升，树在数据集的子集上进行训练，并用于计算它未见过的另一个子集的残差。Catboost通过创建一个人工时间，即数据的随机排列来实现这一点。

假设您有10个从0到9的数据点。Catboost将创建一个包含5,0,2,1,3,6,4,9,7,8的排列(这只是我想出的一个任意排列)，并在5,0,2,1,3上训练一个模型，然后用于计算6,4,9,7,8的残差。

这只是我自己的理解，决不是我说的100%正确。任何评论和更正都非常受欢迎和赞赏。