随机森林对LightGBM

Question

随机森林对LightGBM

有人能解释一下随机森林和LightGBM之间的详细区别吗？算法是如何在引擎盖下工作的呢？

根据我从文件中的理解：

LightGBM和RF在树的构建方式上有所不同:顺序和结果的组合方式。结果表明，如果对参数进行仔细调整，GBM的性能要优于射频。

随机森林: RFs使用随机数据样本对每棵树进行独立的训练。这种随机性有助于使模型比单个决策树更健壮，并且更不适合于训练数据。

我的问题是

1. 什么时候人们会在梯度增强机器上使用随机森林？
2. 与随机森林相比，使用梯度增强法有什么好处/缺点？

Answer 1

与较新的GBM模型相比，RandomForest的优势在于它易于调优，并且对参数变化具有鲁棒性。对于大多数用例来说，它是健壮的，尽管峰值性能可能不如经过适当调整的GBM好。另一个优点是您不需要过多地关心参数。您可以从其文档中比较随机森林模型和lightgbm的参数数。在sklearn文档中，参数的数量看起来可能很多，但实际上您需要关注的惟一参数(按重要性排序)是max_depth、n_estimators和class_weight，其他参数最好按原样保留。所以对我来说，我很可能会用随机森林来建立基线模型。

GBM通常表现得更好，特别是当您与随机森林相比时。特别是当它与LightGBM进行比较时。与随机森林相比，经过适当调整的LightGBM在性能和速度方面最有可能获胜。

GBM优势：

• 更发达。现代GBM模型(xgboost，lightgbm，catboost)开发了许多新的特性，这影响了它的性能、速度和可扩展性。

GBM的缺点：

• 要调优的参数数
• 容易过度适应的倾向

请记住，增加随机森林和gbm的估计数意味着不同的行为。随机森林的n_estimators值过高会影响模型的鲁棒性，而对于GBM模型则会改善模型与训练数据的匹配(如果训练数据过高，会导致模型过度拟合)。