选择合适的回归模型度量

Question

我一直在使用r2 score指标。我知道有几个评估指标，我读过几篇关于它的文章。因为我还是机器学习的初学者。我还是很困惑

1. 何时使用，取决于我们的情况，如果是，请给我举个例子。
2. 我读过这篇文章，它说，r2 score不是简单的，我们需要其他东西来衡量我们模型的性能。这是否意味着我们需要超过一个评估指标才能更好地洞察我们的模型性能？
3. 如果我们只通过一个评估指标来衡量我们的模型性能，那么推荐吗？
4. 从这个文章中可以看出，了解数据的分布和业务目标有助于我们理解如何选择合适的度量标准。这是什么意思？
5. 如何知道每个度量模型是否“足够好”？

Answer 1

对于回归问题有不同的评估指标，如下所示。

1. 均方误差
2. 均方误差(RMSE)
3. 平均绝对误差(MAE)
4. R平方或决定系数
5. 均方百分比误差
6. 诸如此类。

正如您提到的，您需要根据您的问题类型、要测量的内容以及数据的分布来使用它们。

1. 要做到这一点，您需要了解这些度量如何评估模型。您可以从这个漂亮的博客帖子中检查评估指标的定义和利弊。
2. R²显示目的变量的变化是由自变量描述的。一个好的模型可以给R²评分接近1.0，但这并不意味着它应该是。R²低的模型也能给出较低的MSE评分。因此，为了确保模型的预测能力，最好使用MSE、RMSE或R²以外的其他指标。
3. 不是的。您可以使用多个评估指标。重要的是，如果比较两个模型，则需要使用相同的测试数据集和相同的评估指标。
4. 例如，如果您想过多地惩罚您的错误预测，您可以使用MSE评估度量，因为它基本上度量了我们预测的平均平方错误，或者如果您的数据有太多的异常值，MSE会对这个示例进行过多的惩罚。
5. 好的模型定义会根据问题的复杂性而改变。例如，如果您训练一个模型，它预测正面或反面，并提供%49的准确性，这是不够好的，因为这个问题的基线是%50。但对于任何其他问题，%49的准确度可能足以解决您的问题。因此，在总结中，它取决于您的问题，您需要定义或考虑人类(基线)阈值。