SimCLR不学习表示

Question

因此，我试图在一个包含字母表前5个字母的数据集上训练一个具有自定义轻量级ConvNet主干的ConvNet网络(已经使用了ResNet )，其中两个字母是随机选择的，并被放在图像中的随机位置。我不确定在这样的场景中使用什么增强，所以我只使用图像翻译来提供增强样本之间的某种程度的差异。

这听起来是一项极其琐碎的任务，但在建立在冻结的预先训练网络之上的多标签分类器上，它的性能非常差。我很肯定，这是因为学习到的表示的质量很差，而不是线性分类器。显然，这在监督分类器上工作得很好。

我试过的变体：

1. 使数据集具有单字母、随机位置(多类)，性能很好，
2. 用随机字母制作数据集，但中心位置相同，性能良好。上面提到的同样的增强也适用于这些。

数据集中的示例图像(这里的标签是1，1，0，0，0，0，0)

​

​

有人能帮我弄清楚怎么做吗？

Answer 1

这不是我第一次听到有人尝试SimCLR并得到可怕的结果.

我有一些问题：

，

• ，你有没有试过在对比训练部分做其他的损失？三重态丢失如何? normalised?
• Are表示
• 是您所提到的变体中的对比预训练获得良好效果的表示吗？
• 您在这两种模型(Resnet和自定义convnet)中是否获得了良好的监督分类结果？
• ，您是否尝试将模型在conv层中学习到的特性可视化？
• ，您也可以尝试用前向挂钩来可视化特征地图，并查看网络“正在看”什么。

F 213