一文看清这些年自监督和无监督的进展

Contrastive Learning

最早在2005年被Sumit Chopra et all提出.对比学习是一种从相似/不相似数据pair对中学习相似/不相似表征的框架。常见的损失函数就是InfoNCE，如下所示:

q是query样本的表达,k+和k-分别是正例和负例的表达.通常q和k是同一个图片的增强样本.最后温度超参tau用户调节敏感度,这在很多对比学习论文中都是这样的思路.

对比学习简单的框架

最著名的莫属Ting Chen et al提出的SimCLR.

首先，我们通过对一个mini-batch做增强,以获得positive pair。然后，将相同的编码器f和投影g（MLP）应用于增强样本。最后，我们应用上面定义的对比损失来最大化相同样本图像的positive pair之间的一致性，最小化距离。需要注意的是，batchsize越大，对比学习框架中的负面样本就越多,这带来了计算复杂度。

Pretext-Invariant Representations

Ishan Misra et al提出PIRL,上图显示了PIRL框架的概述。I_t是原始样本图像I的增强样本，而θ表示主编码器（ResNet）的权重，f和g是两个独立的投影（全连接层）。正如我们所看到的，我们需要获得9个变换/增强的图像块，并连接它们的表示。最后使用下式进行对比学习:

m_I是原始图像的特征向量,用完会存在memory bank M中,因此上式的目标就是最大化特征向量m_I和来自两个分支的相应投影之间的一致性。需要注意负样本是从memory bank中随机抽取的。

Momentum Contrast

Kaiming He et al 提出MoCo, 如下图所示:

如上图所示，作者放弃了在整个训练过程中存储特征表示的memory bank，因为它在训练中会带来内存开销。相反，他们引入了一个momentum encoder，该编码器被更新为主要在线编码器的移动平均值。此外，他们提出字典作为队列结构（先进先出），它还存储特征表示。它比内存库小得多，因为作者认为不需要存储过去epoch获得的特征向量。如图中所示，对比损失是通过最小化来自两个网络的图像增强pair对的表示距离和最大化从字典中随机抽样的表示距离来实现的。有趣的是，有很多研究表明，由memory实现的表示平均与momentum encoder非常相似。然而，动量编码器显著降低了内存成本。

伪代码如下:

MoCo V2 & MoCo V3

MoCo v2对原始框架进行了一些修改。根据上图，总结如下：

1、两个encoder增加了mlp作为最终模块,如下代码所示.我们可以看到，我们只是用一对全连接层替换最后一个完全连接的层，中间有ReLU激活（隐藏层2048-d，带有ReLU）。

2、更强的数据增强方式(blur augmentation)

3、学习率(cosine learning rate scheduler)

MoCo v3伪代码如下:

总结就是所有mlp都有BN,并且batch size在4096效果足够好,伪代码中的backbone可以尝试用ViT做替换.

BYOL

BYOL完全放弃了MoCo和PIRL使用的字典和Memory Buffer的方式,提出了prediction head.上图中,我们可以看到prediction head是作为在线encoder的,并且尝试去预估momentum encoder的投影,prediction head的存在就是避免所有representation都是一样的.

作者完全放弃使用阴性样本，并提出如下损失:

此外还有Siamese和RAFT.以下参考文献中的论文都推荐大家详细阅读.

参考文献

1、Learning a Similarity Metric Discriminatively, with Application to Face Verification

http://yann.lecun.com/exdb/publis/pdf/chopra-05.pdf

2、A Simple Framework for Contrastive Learning of Visual Representations

https://arxiv.org/pdf/2002.05709.pdf

3、Self-Supervised Learning of Pretext-Invariant Representations

https://arxiv.org/pdf/1912.01991.pdf

4、Momentum Contrast for Unsupervised Visual Representation Learning

https://arxiv.org/pdf/1911.05722.pdf

5、Bootstrap Your Own Latent A New Approach to Self-Supervised Learning

https://arxiv.org/pdf/2006.07733.pdf

6、An Empirical Study of Training Self-Supervised Vision Transformers

https://arxiv.org/pdf/2104.02057.pdf

7、Exploring Simple Siamese Representation Learning

https://arxiv.org/pdf/2011.10566.pdf

8、RUN AWAY FROM YOUR TEACHER: UNDERSTANDING BYOL BY A NOVEL SELF-SUPERVISED APPROACH

https://arxiv.org/pdf/2011.10944.pdf