如果我不关心对新数据的准确性的不偏不倚的估计，我是否需要一个测试集？

Question

我理解为什么我们有一个培训集、验证集和测试集。简言之：

• 培训集-用于培训模型
• 验证集-用于比较模型内的模型或超参数
• 测试集-获得对新数据的模型性能的无偏估计。

我理解，在许多情况下，您希望对模型性能进行公正的评估，例如，发布论文或向客户报告结果。但是，在我的情况下，我不关心获得一个对新数据的模型性能的公正估计。我只想找到最好的模型并使用它。此外，我没有那么多的数据，我宁愿有一个更大的培训集和验证集。除了对模型性能的不偏不倚的评估外，还有什么其他的理由来包括测试集？对我来说，使用训练和验证是有意义的吗？

Answer 1

如果您正在对参数进行调优，以便在验证集上运行良好，并且在没有进一步调优的情况下永远不会测试模型，那么您的模型的性能将难以衡量。

验证集允许您获得有关模型性能的反馈，并更改超参数/特性/等等，但是要真正度量模型以及它在新数据上的预期执行情况，应该用一些尚未看到的数据来度量。

简而言之，通过调整参数和特定于工程的特性，使模型在真实数据上的真实性能膨胀，很容易使验证集过于适合。这就是测试集提供值的地方。