首先选择CNN架构，然后优化参数-验证还是测试性能来选择架构？

Question

我正在做一些关于医学数据的实验。我即将转移，学习预先训练的网络，以解决我的问题。

首先，我必须选择一个网络架构。其次，对优化器的参数/参数进行优化，以获得更好的性能。

我想选择基于10倍交叉验证的几种架构的网络体系结构。我将执行交叉验证的方式，我有数据分割训练:测试以80:20的方式，然后列车被分割成10个分裂。测试集不应该改变。基于交叉验证，我想选择一个模型，我将进一步优化验证集。

在优化参数之前，也可以测试测试数据上最好的体系结构，看看我正在朝着正确的方向移动，还是作弊？

数据集是不平衡的，具有相对较高的类方差，所以我甚至不确定测试的2倍将显着地表示数据集。

谢谢

Answer 1

您不应该根据测试集的性能来选择最佳模型。您应该运行交叉验证并从中选择最佳模型，然后在测试集中评估性能。否则，你只会得到最好的模型和过份你的测试集。

关于不平衡的数据集，在这种情况下，您应该知道用于评估模型的度量标准，例如召回、精确度等，而不仅仅是准确性。在python中，您可以执行StratifiedKFold，将数据拆分，获得与目标变量有关的训练和测试集的相同比例。