从整个训练集训练CNN和从训练集子集训练到整个训练集的训练有什么区别？

Question

我正致力于在U-网数据集上训练一个分段网络LIDC-IDRI。目前有两项培训战略：

1. 从零开始对整个训练集(40k级，180 k级)进行训练。
2. 在整个训练集的10%上训练模型。收敛后(30k步)，继续对整个训练集(10k步)进行模型训练。

以骰子系数作为损失函数，在V网体系结构(纸)中，方法2训练的模型总是优于方法1，前者可以达到0.735，后者只能达到0.71。

顺便说一句，我的U-net模型是用TensorFlow实现的，并在NVidia GTX 1080Ti上进行了训练。

有人能给出一些解释或推荐信吗。谢谢!

Answer 1

嗯，我读了你的答案，并决定尝试它，因为这是相当容易的，因为我也一直在培训Vnet上的LIDC。通常我从一开始就对整个数据集进行训练。选项2)在骰子中给出了更快的提升，但是，在验证后，它很快下降到2%，甚至在使网络能够学习它没有恢复的整个数据集之后，还训练骰子。当然，还在增加。似乎我的10%的数据集不是很有代表性，而且它太适合了。