滑雪: sklearn.linear_model.HuberRegressor对sklearn.linear_model.ElasticNet

Question

我正在为我的回归模型试验不同的损失函数。我注意到在滑雪板上有：

sklearn.linear_model.HuberRegressor和sklearn.linear_model.ElasticNet

对我来说，两者都使用L1和L2损失的组合。这到底有什么区别？谢谢!

Answer 1

是的，回归模型中的许多损失函数都将L1和L2结合起来用于不同的目的。为了实现这种差异，我从岭回归开始。

岭回归通过对系数的大小施加惩罚来解决普通最小二乘的一些问题。岭系数最小化一个惩罚的残差平方和。

HuberRegressor不同于岭，因为它将线性损失应用于被归类为异常值的样本。如果样本的绝对误差小于某一阈值，则该样本被归类为inlier。

ElasticNet是一个用\iota_1和\iota_2-norm正则化系数训练的线性回归模型。这种组合允许学习稀疏模型，其中很少的权重是非零类Lasso，同时仍然保持正则化性质的岭。当多个特征相互关联时，弹性网是有用的.拉索很可能随机挑选其中之一，而弹性网则可能两者兼而有之。