caffe训练阶段与测试阶段的差异

Question

这似乎是一个愚蠢的问题，但我试图了解在多大程度上，在caffe测试阶段对良好的结果是重要的。当然，培训阶段很重要，但是测试阶段仅仅是为了测试在一组没有经过训练的集合上周期性地获得了多少损失吗？如果是这样的话，我的测试集的大小真的很重要吗？测试真的很重要吗？我问这个问题是因为我目前有一些严重的过度适应问题。如果我有一个很大的数据集(>5万张图像)，我应该如何在测试和训练之间分割它们？

Answer 1

在进行训练和修改参数时，Caffe从不使用测试集的结果来解决一些问题，如过度拟合。

验证集(培训期间的测试集)的使用是让我们通过查看准确性或损失值、绘图或观察输出来可视化模型是否适合数据。

例如，如果训练集的损失在每一次迭代中不断减少，而测试集的损失继续增加，则这是模型过度拟合训练集的真实情况。为了得到这样的结论，为测试集选择的图像不应该与训练集的图像相同。它是理想的保持1:10的比例测试列车图像计数.如果测试集使用的是训练集的子集，那么测试集的丢失就会减少，并且我们可能不会检测到模型的过度拟合行为。