通过跳过头层加载tensorflow检查点

Question

我正在使用一个模型(SimCLR)从图像中学习表示。在训练前，模型是针对单个虚拟标签进行训练的。现在我想用8类数据对模型进行微调。当将经过预先训练的模型检查点加载到具有8级头部的尚未经过精细调整的模型时，我遇到了一个ValueError。

ValueError: Tensor's shape (2048, 1) is not compatible with supplied shape [2048, 8]

在加载到检查点以对模型进行微调之前，是否有排除最后一层权重的解决方案？

系统信息

• TensorFlow版本：2.5.0
• Python版本：3.7.3

Answer 1

好吧，为了让你的预先训练的模型能够成功地处理你的新输入，它们需要与它所期望的旧输入(从旧的1D模型)的形状完全相同。要让您的8类数据与此模型一起工作，您需要更改模型本身，以处理8个类的输入。这可能要求您编辑模型本身的属性，如果没有代码的可视化，很难确切说明需要在哪里进行更改。