RMSE对R-平方

Question

问:比较不同型号的RMSE或R-平方，哪一个是更好的衡量标准？

我搜索了一点--通常所有的博客都说这两个指标解释了一个不同的概念，R-平方是衡量模型解释了多少方差，RMSE给出了关于平均错误的提示。

我的回答是:我认为RMSE可以用来比较训练错误和验证错误，基本上可以判断模型是否适合。这也将说明两个模型在未知数据上的表现如何，但R平方只表示模型匹配的信息，它没有给出模型如何处理未见数据的信息。

因此，如果您担心模型对未见数据或测试数据的性能，RMSE比R-平方更好。

我的答案是对的吗?

(注:如果你知道R-平方比RMSE更好的情况，请加分)

Answer 1

看看这些方程式。两者都是均方误差的函数。任何一种型号的性能都会优于另一种型号。我在R^2中看到的危险是，它使我们处于考虑学校成绩的位置，然而，F-grade R^2=0.4对于某些模特来说可能是相当不错的，而对于一些模特来说，A-grade R^2=0.95可能相当平庸。此外，R^2在非线性情况下失去了它的“可变性解释的比例”解释(甚至当我们做一些普通最小二乘以外的事情时，也失去了一些线性情况)：https://stats.stackexchange.com/questions/494274/why-does-regularization-wreck-orthogonality-of-predictions-and-residuals-in-line。

SSResiduals = \sum_{i=1}^n \big( y_i - \hat y_i \big)^2\\ RMSE = \sqrt{MSE} = \sqrt{\dfrac{SSResiduals}{n}}\\ R^2 = 1 - \dfrac{SSResiduals}{SSTotal} = 1 - \dfrac{n\times MSE}{SSTotal} = 1 - \dfrac{n\times (RMSE)^2}{SSTotal}

(SSTotal = \sum_{i = 1}^n \big(y_i -\bar y\big)^2是数据集的属性，而不是模型的属性，因此它基本上是一个缩放因子。)

因此，较小的RMSE与较大的R^2是同步的。然而，RMSE并没有欺骗你去思考在学校里的字母成绩。

Answer 2

你的解释是正确的，尽管我不会说其中一个比另一个好。它们都有不同的用途。

在构建模型之后，我通常检查的第一个度量是MAPE。所以我能感觉到相对误差与实际预测有关。尽管MAPE的问题是，如果您的预测中很少有异常值，那么您的MAPE值将受到影响。RMSE也存在这个问题，可以用RMSLE (根均方日志误差)来消除。

要点是:每个错误估计器都会有一些正面和负面，你需要根据你的问题陈述来决定最好的一个。

Answer 3

如果您在测试集上计算RMSE，那么它将是一个更好的度量，用于评估您的模型在预测未来观测时的表现，即对未见观测的准确性。

正如你所说的，r平方是你的训练集中方差的比例，这是由你的模型拟合所解释的。因此，这两个指标之间的关键区别在于: RMSE通常是根据测试数据计算的，而R-平方则是根据训练数据计算的。