Logistic回归L2正则化的数学模型

Question

在logistic回归中，I 读一下 L2正则化创建了一种限制$w$权重选择的范围，但为什么会发生这种情况呢？

Answer 1

您的问题实际上是关于约束优化中的拉格朗日乘子法，而不是logistic回归本身。它的基本思想是通过增加一个名为正则元的项，将一个约束优化问题转化为一个无约束优化问题，反之亦然。球面来自于将无约束问题重命名为约束问题；回想一下常量$L_2$范数定义了一个超球面。

Answer 2

考虑这一点的一个简单方法是理解你正在最小化一个目标函数。L2正则化改变了目标函数的输出，从而有利于较小的值。所以你对参数有一个恒定的‘压力’，目标是0。