预训练、特征提取、特征提取之间的区别

Question

我有点困惑于以下术语:预培训，finetune和特征提取。我想使用一个开箱即用的模型来训练一个贪婪的数据集。如果我要使用resnet，我会对它进行预培训吗？在什么情况下，我会细化模型或特征提取？既然模型是预先训练的，那么在ImageNet上使用相同的权重是否明智呢？

Answer 1

虽然微调可能指的是对现有模型的一些改进，但这并不是一种改进，而是一种转移学习过程，以使经过预先培训的模型适应新的数据。

我不同意这样一个事实:微调指的是转移学习，因为它确实会导致混乱。

因此，您微调一个预先训练的模型，以便能够有效地学习新的数据，这要归功于已经学习到的关于预培训模型的数据，该模型具有更广泛的提取特征。

如果不使用预先训练过的模型，从零开始训练的模型就不能很容易地区分数据，而且特征提取也很差。

https://d2l.ai/chapter_计算机视觉/精细-tuning.html

如果在新数据集上培训预培训的模型，则新数据集应与第一次培训时的原始数据集有一些相似之处。例如，如果你想用未知的动物(例如:穿山甲)训练一个预先训练过的数据集，如果它已经知道了很多其他的动物，那就没问题了。但是，如果你用全新的数据(例如: 3d医学扫描)来训练它，而不与已知的数据有任何相似之处，它就能识别出它们是否是3d医学扫描，但它可能无法很好地区分不同类型的医学扫描。

因此，对于像3张医学扫描这样的全新数据，最好是从头开始训练模型，除非模型已经在3张医学扫描图像上学习了。