如何比较两种回归模型？

Question

(S)应该选择比较两种回归模型吗？

在修改了一个学习算法(特别是一个回归算法，我们称之为M1)以生成另一个学习算法M2之后，如何验证上述修改是否有效？

这里是我所做的(通过10次交叉验证)

我选择MSE作为唯一的度量，在每次运行时，对于M1和M2，计算训练和测试集的最小均方。

结果表明：

• 10次训练集的平均均方根值: M2 < M1
• 测试集10次运行的平均均方误差: M2 < M1

问题：

根据上面的列表，我们能得出M2比M1更好的结论吗？因此，算法M1的修改是有效的(至少在这个数据集上)？

或：

我错过了其他重要的测量吗？是否有比较两种回归模型的经验法则？

Answer 1

有两件事需要考虑：

• 采样偏差
• 公制

抽样偏差问题是，您的测试集可能不是您感兴趣的全部内容集。因此，不可以简单地检查MSE_1 < MSE_2并得出结论，当它“只是”用于您的数据集时，情况总是如此。这就是意义测试的意义所在。(虽然这种推理在机器学习中是非常普遍的，而且我已经做到了)

那么，对于您的应用程序来说，度量是否是正确的问题。典型的选择有:均方误差、平均绝对误差、自定义成本函数。

Answer 2

从测量的角度来看，我认为这没什么。但也有可能，为M1选择的超参数集合不是有效的。如果你改变并设置正确的超参数，你可能会得到完全不同的计算。

我认为我们也应该考虑这一衡量标准。