轻型GBM中的L1和L2正则化

Question

这个问题涉及到轻型GBM中的L1 & L2正则化参数。根据正式文件：

权值的reg_alpha (float, optional (default=0.)) - L1正则化项.

权值的reg_lambda (float, optional (default=0.)) - L2正则化项

我见过数据科学家同时使用这两个参数，理想情况下，要么使用L1，要么使用L2，而不是同时使用两者。

在阅读有关调整LGBM参数的文章时，我看到了一个这样的例子:在巴黎的Kaggle官方GBDT规范和优化讲习班中，教员是ML专家。这些专家在LGBM模型中都使用了L1和L2参数的正值。下面的链接(Ctrl+F 'search_spaces‘直接到达这个长内核中的参数网格)

http://www.kaggle.com/lucamassaron/kaggle-days-paris-gbdt-workshop

我在XGBoost实现中也看到了同样的情况。

我的问题是为什么在LGBM/XGBoost中同时使用两者。

谢谢。

Answer 1

首先，请注意，在logistic回归中，使用L1和L2惩罚是很常见的，可以有自己的名称: ElasticNet。(请参见https://stats.stackexchange.com/q/184029/232706。)因此，使用这两种方法并不是史无前例的。

第二，XGBoost和LightGBM有相当多的超参数，它们的目的是重叠的。树的复杂性可以由最大的深度，或最大的叶数，或最小的样本(计数或重量)，或最小的标准增益来控制。对于某些问题，任何组合都可能是最佳的。过度拟合也可以与学习率与树的数目(和早期停止)、次抽样率和正规化惩罚之一作斗争。

最后，由于GBDT中的L1正则化被应用于叶分数，而不是像logistic回归那样直接应用于特征，因此它实际上有助于降低树的深度。这反过来会减少预测能力较低的功能的影响，但它并不像逻辑回归中那样从本质上删除该特性。您可能会认为L1正则化比L2正则化更能对抗预测性较低的特性。但是，使用这两种方法都可能是有意义的:一些L1用于惩罚预测较低的特征，而另一些L2则用于进一步惩罚大的叶分数，而不是对预测较低的特征如此苛刻。

玩具例子：https://github.com/bmreiniger/datascience.stackexchange/blob/master/trees_L1_reg.ipynb

可能有用：

https://github.com/dmlc/xgboost/blob/release_0.90/src/tree/拆分_evaluator.cc#L118

https://xgboost.readthedocs.io/en/latest/tutorials/model.html#model-complexity

Answer 2

在这篇中型文章中，您可以找到关于这些参数https://medium.com/@gabrieltseng/gradient-boosting-and-xgboost-c306c1bcfaf5的简明和非常清楚的解释。

这篇博文的作者加布里埃尔·曾说：“这两个正则化术语对权重有不同的影响；L2正则化(由lambda项控制)鼓励权重变小，而L1正则化(由α项控制)则鼓励稀疏性--因此它鼓励权重降至0。这在逻辑回归等模型中是有帮助的，在这些模型中，您需要一些特征选择，但在决策树中，我们已经选择了我们的特性，因此对它们的权重进行归零并不是非常有用的。因此，我发现设置一个高lambda值和一个低(或0) alpha值是正则化时最有效的。”

Answer 3

我见过数据科学家同时使用这两个参数，理想情况下，要么使用L1，要么使用L2，而不是同时使用两者。

短期-使用两个惩罚太小的重量由L1和高权重(==离群值)由L2防止过度拟合。