xgboost out of bag预测

Question

是否有可能获得每棵树的出袋(oob)预测，并绘制某种置信区间。

例如，这在quantregForest包中实现：

data(ozone,package="gss")
library(quantregForest)
xozone <- ozone[-1]
yozone <- ozone$upo3
qrfozone <- quantregForest(xozone,yozone)
plot(qrfozone)

​

​

Answer 1

我认为这在xgboost中还没有实现。我认为困难在于，在randomForest中，每棵树的权重是相等的，而在boosting方法中，权重是非常不同的。此外，它(仍然)不是很常见的“打包”xgboost模型，只有这样你才能生成袋子外的预测(请参阅此处了解如何在xgboost：http://xgboost.readthedocs.io/en/latest/R-package/discoverYourData.html#special-note-what-about-random-forests中做到这一点)。

将来，这将是在xgboost中实现的一个很好的工具。此外，如果您考虑使用oob预测进行快速调整。