基于树的算法的在线学习/持续学习

Question

我在随机森林/XGBoost/LightGBM上遇到任何一种迭代学习的例子，每次应用n_tree/n_estimators/num_boost_rounds时，它都会不断增加.fit()对新批数据的估计器的数量。它们中的大多数似乎依赖迭代学习来对无法同时加载到内存中的非常大的数据集进行培训。

但是，我希望实现一个持续学习管道(使用LightGBM；Python)，它每天接收新的可用数据，以便更新现有模型(不需要对整个数据集进行重新培训；有状态的)。前面提到的方法将意味着我的模型将永远增加它的树数。

Is可以训练基于树的算法，使估值器(分割阈值)本身得到更新/调整，而不是只添加估计器？

Answer 1

这是一个非常好的问题，我将给出一个理论结果；特别是，我不知道在任何编程语言中有任何具体的实现。

决策树增量学习的概念始于1986年，目的是增强ID3学习算法以持续学习/增量学习(还记得ID3只处理分类输入特性/变量)，其结果过程称为ID4。

几年后，Utgoff等人。提出了另外两种方法(ID5和ITI)来克服ID4方法的一些缺点。

还有一个不错的维基百科页面，你可能会读到。

<#>编辑

还有一些关于在线增压和套袋的作品，我也没有意识到，但是你的问题让我觉得有些新的东西；谢谢(+1)！