评价回归模型的成本函数

Question

有几种“经典”的方法来量化(任何！)回归模型如RMSE、MSE、解释方差、r2等。

然而，这些指标并没有将“成本”考虑在内，例如，对我来说，低估一个值(实值: 0.5，预测值为0.4)比过度预测值(真实值: 0.5，预测值: 0.6)更糟糕。

我如何将这样的成本建模成一个评估函数？我只需要一个第一个想法，并将欢迎任何建议。

Answer 1

损失函数和成本函数是一回事。根据直觉，经典回归将损失/成本视为对称的，而这并不总是您想要的。在分类任务中，可以创建非对称损失矩阵。如果你用梯度下降来求解回归，你也可以做类似的事情，但是普通的最小二乘有对称的损失。

因此，我会考虑(1)使用数值优化库(如sklearn或tensorflow )显式定义要估计的回归参数，编写自己的自定义损失函数，然后通过梯度下降进行参数估计，或者(2)寻找允许非对称损失的软件包，例如参见这一讨论。