特征标准化-- l2标准化的优势

Question

特征通常在分类之前进行归一化。

文献中通常使用L1和L2归一化。

有人能评论一下L2规范(或L1规范)与L1规范(或L2规范)相比的优势吗？

Answer 1

L2相对于L1规范的优势

• 正如aleju在评论中所说的那样，L2范数的派生很容易计算。因此，基于梯度的学习方法也很容易使用。
• L2正则化优化了通常用作性能度量的平均成本(而L1降低了中值explanation)。如果你知道你没有任何异常值，并且你想保持总体误差很小，这是特别好的。
• 这个解决方案更有可能是唯一的。这与前面的观点有关:虽然平均值是一个单值，但中值可能位于两点之间的某个区间，因此不是唯一的。
• 虽然L1正则化可以为您提供稀疏系数向量，但L2的非稀疏性可以提高您的预测性能(因为您可以利用更多功能，而不是简单地忽略它们)。
• L2在旋转下是不变的。如果您有一个由空间中的点组成的数据集，并且您应用了旋转，您仍然会得到相同的结果(即，点之间的距离保持不变)。

L1相对于L2规范的优势

• L1范数更喜欢稀疏系数向量。(explanation on Quora)这意味着L1范数执行特征选择，您可以删除系数为0的所有特征。降维在几乎所有情况下都是有用的。
• L1范数优化了中位数。因此，L1范数对异常值不敏感。

更多来源

The same question on Quora

Another one

Answer 2

如果您正在处理反问题，L1将返回一个更稀疏的矩阵，而L2将返回一个更相关的矩阵。