为什么计算和使用测试集方法是不恰当的？

Question

我对机器学习中的整个数据集有两个问题，我很乐意得到一个答案：(1)为什么计算和使用测试集的均值和标准差是不恰当的?2.为什么我们要限制使用测试集的次数，以及我们应该使用验证？

坦克很多

Answer 1

为什么我们要限制我们使用测试集的次数，以及我们应该使用验证？

最好只对测试数据集进行一次评估，因为测试数据集上的性能是对经过训练的模型泛化能力的最佳估计。重复评估测试数据集会鼓励使用不同的算法和超参数来更好地拟合测试数据。对测试数据集进行拟合会导致对模型泛化能力的高估。

为什么计算和使用测试集方法是不恰当的？

在测试数据集上有许多评估性能的方法。计算平均性能是一种可以接受的方法。平均值是衡量一组数据中心趋势的许多方法之一。可能有更重要的数据切片，平均值确实说明了这一点。

Answer 2

测试集用于评估，即测试模型的工作效果。

• 为了可靠地进行评估，在实际测试之前不应该看到来自测试集的信息，这与学生没有事先获得试题的原因相同。
• 测试集包含多个实例。同样，为了可靠地进行评估，需要这样做，因为只使用少数几个实例的性能可能由于偶然而不可靠。但是记住，模型的目标是对任何单个实例进行预测，这是很有用的。这意味着对于测试集中的实例，依赖某些平均值没有多大意义，因为集合中可能有一个实例。
• 问题不是重用测试集，而是基于这个数据集确定参数(模型参数或超参数)的值。根据定义，如果发生这种情况，则属于训练阶段，否则模型将被修正。由于通常会重用数据集以更改模型的某些内容，因此该数据集不是测试集，而是验证集。