神经网络的微调

Question

我最近读过关于微调的文章，我想知道的是，当我们对模型进行微调时，是否有必要冻结模型，只训练模型的顶部，然后解冻一些层，然后再重新训练模型，或者直接从解冻一些层开始？到目前为止，我已经读到没有直接解冻层，因为这样我们就有可能失去早期层捕获的重要功能。

Answer 1

不管用哪种方式都行。如果您想要保留确切的特征提取器，那么除了模型的“顶部”之外，您应该冻结所有东西。您还可以解冻整个模型；模型的“顶部”将从头开始训练，模型“底部”附近的特征提取器将被调整以更好地处理您的数据集。解冻整个模型的潜在缺点是，过度适应的可能性更大(以及更长、更昂贵的培训时间)。

我s，有必要冻结模型，只训练模型的顶部部分，然后解冻一些层，然后再训练模型，还是可以直接从解冻一些层开始？

我不知道任何训练程序，包括冻结和解冻不同的部分，在不同的时间，在训练。人们可能会这么做，但我不确定会有什么好处。

Answer 2

这是一个很好的做法，冻结早期的层次，当你完善的模型。要这样做有两个原因：

1. 您的新层是随机初始化的，并且总是以非常大的损失开始。大损失意味着大梯度，如果重量没有冻结，这将被传播。您的模型将变得不太稳定，可能无法收敛。简单地说，你不想把错误预测的责任归咎于前几层。
2. 你节省了大量的计算资源。训练一个神经网络，不是一个小问题，只训练一个小部分的模型将给你足够好的准确性，而不花费太多的计算资源。

解冻早期的一层取决于你在后期的训练阶段(有些人不这样做)，但是如果你觉得你可能需要这样做来推动更好的性能，那就试试吧。