fasti图像分类仅使用验证数据集，而不是测试数据集。

Question

我用建立了一个图像分类模型。我提供了这样的培训和验证数据集：

data = (ImageList.from_folder(PATH)
        .split_by_folder(train='train', valid='valid')
        .label_from_folder()
        .transform(get_transforms(do_flip=True, flip_vert= True,max_zoom=1.1, max_rotate=10, max_lighting=0.5),size=224)
        .databunch()
        .normalize() )

然后，我运行了3-4个历元，这给了我在每一个时代的损失和准确性。

最后我产生了混淆矩阵。

interp = ClassificationInterpretation.from_learner(learn)
interp.plot_confusion_matrix()

我的问题是，

1. 不应该使用单独的测试数据集来准确地计算混淆矩阵和实际精度。或者仅仅使用验证数据就足够了。我希望验证数据集的公正使用在找到模型准确性方面是足够好的。
2. (我理解的)验证数据集用于微调下一个时代的超参数，因此，在上一个时代结束时，验证数据集是否可以被视为测试数据集？？

。

Answer 1

这其实不是一个关于快速人工智能的问题，而是更多关于数据科学的问题。我绝对不是一个专家，但我会尽力解释它的方式，已经向我解释。

for each set of hyper parameters:
   for each epoch:
      train the model with training data
      test on the validation data (not used in training)
      some stopping criteria?
   Look at trained model, e.g. confusion matrix, other stats
   Stop hyper parameter search if good enough (for production or a paper, etc)

测试一次，在测试集上进行测试(不用于培训或验证)，并在一篇论文中使用该测试的结果，或者在管理人员或博客文章中使用该测试的结果，等等。是否有单独的测试集将取决于您将如何使用经过培训的模型。

因为我主要是作为业余爱好来做这件事，所以我不去做测试。如果你正在做一些类似于比赛的事情，那么可能有一组你永远看不见的数据，一旦你提交了结果，这些数据就会被用作测试集。