迁移学习中的模型微调

Question

我正在研究一个深度学习模型，用于“年龄不变的人脸检测”。我开始对数据进行预处理，包括通过MTCNN进行人脸裁剪，图像对比度校正和锐化。然后我开始构建模型架构，我设计了一个定制的顺序CNN模型。训练和验证损失接近1.9，但模型一个时期大约需要8小时。我需要快速的结果，所以我开始尝试迁移学习。我读到一篇论文，说Resnet-18在任务中表现很好，所以我首先使用了Resnet-18。尝试通过改变学习率来调整它，但没有效果。准确率的提高不超过40%。然后我使用了Resnet-50，目前，我正在研究它。我尝试通过手动更改学习率进行微调，尝试使用不同的优化器Adam、SGD。使用学习率衰减。我的模型开始过拟合，所以我在训练数据中添加了dropout，图像增强，并再次添加了weight_decay，因为它仍然过拟合。现在没有过拟合，但损失并没有减少。我试着在上面做实验，每天读很多文章，但感觉被卡住了。

Answer 1

显然，这是特征工程出现的一个很好的例子。通过应用一些经典的特征工程方法，尽可能使您的图像使用较少的计算能力。使用MTCNN是一个非常好的方法，我将深入研究特征工程，这里还有一个link，它可以为你提供一些AHAA时刻的性能。万事如意