截距参数的正则化

Question

为什么正则化参数不应用于拦截参数？

根据我所读到的线性和Logistic回归的成本函数，正则化参数(λ)被应用于除截距以外的所有项。例如，这里分别是线性回归和logistic回归的成本函数(注意j从1开始)：

Answer 1

正则化试图通过降低对输入数据微小变化的敏感性来减少过度拟合的机会。对于截取项(相对于系数)来说，这并不是什么问题，所以它通常不包括在内。

Answer 2

正则化的主要目的是减少参数值，从而减少与该参数相关的特征对模型预测的影响。例如，由于拦截Theta0基本上没有与它相关的特性，所以我们不会惩罚它。