随机LightGBM林

Question

我并不完全确定增强决策树(特别是LightGBM )的偏差/方差，因此我想知道我们是否会像随机森林一样，通过创建多个LightGBM模型来提高性能呢？

Answer 1

通常，您可以调优GBM以完成良好的偏差/方差权衡。您可以尝试将GBM的超参数设置为超值，然后打包这些参数，但在大多数情况下，我不会期望比更好地调优的单个GBM获得更多的/任何收益。

有些关联:微软的InterpretML包实现了他们的版本一种GA2M模型，涉及几层打包和提升。在这里，重点是产生更可解释的东西，因此每次只有一两个功能(但循环的方式，所以它并不完全独立)。