比较数据集-我应该使用相同的测试数据集吗？

Question

我正在训练ML CNN模型。我想比较不同的图像数据集。数据集都有不同的特征(翻译与否、旋转与否等等)。

我不修改不同数据集培训之间的ML模型。

我应该使用相同的测试数据集来比较它们吗？此数据集不会通过测试更改，并且将包含在其他地方找不到的数据。它不会更适合于特定的培训数据集。

还是应该使用与训练数据集相同的测试数据集？这样我才能比较他们的最佳状态？

例如，如果我想比较数据集A和B，是否应该使用测试数据集A和测试数据集B的组合？或者在测试数据集A时，使用测试数据集A，在测试数据集B时使用测试数据集B。

Answer 1

通过测试同一数据集上的模型(共享相同的特征)，您将获得有关超参数与此数据集的相关性的信息。

然后，可以在另一个具有其他特征的数据集上进行测试。它将为您提供关于一个可以概括的模型有多好的信息。

我不会创建一个混合数据集来测试模型的解释，因为它可以隐藏一些有趣的信息。例如，案例1从测试数据集A中预测100%的样本，从测试数据集B中仅预测50%。解释是不一样的。但是，如果您想比较从两个不同的训练数据集创建的两个模型，那么是的，将它们与一个相同的测试数据集进行比较，否则测试会有偏差。