神经网络中LASSO惩罚与LASSO回归的区别

Question

我想知道这两者是否有显著的区别。

我认为在神经网络中，引入lasso的损失函数使模型更简单，并通过将某些特征自动减少到0来引入更多的稀疏性。我想这基本上就是套索回归的结果吧？

Answer 1

在它的“纯”形式，拉索只是一个惩罚之上的RSS正常(OLS)回归。结果是你的OLS参数缩小了。

见“统计学习导论”第6.2.2节。

在神经网络中，权重会缩小(其中可能有很多，而且通常比正常的回归要多得多)。在Keras/TF中，这种情况发生在分层中。有关背景信息，请参阅这帖子。

所以这些概念是完全不同的。另外，使用L1的目标也可能有很大的不同，例如当它用于处理OLS中的高维问题时。他们的共同之处是，你试图消除不必要的“噪音”在你的估计，以获得一个更好的适应(并避免过度)。

请注意，这些特性不是缩小的，而是参数/权重缩小的。

Answer 2

我认为Lasso回归是一种在其算法中实现lasso惩罚(L1正则化)的回归模型(不同于一般的回归算法)。

Lasso惩罚更多的是一种广义的惩罚，可以在任何学习算法上使用。

这两种想法背后的概念是相同的，但它们的实施范围不同。

希望这能帮上忙！