对比学习也会维度崩溃?LeCun和田渊栋团队新作DirectCLR帮解决
自监督学习在计算机视觉中的应用十分广泛,能够在没有人工标注的情况下学到输入数据的有效表示。
目前基于联合嵌入方法(joint embedding method)的自监督视觉表征学习研究进展表明,自监督学习得到的表示性能和有监督表示相比相差不大。这些方法的目标通常是通过最大限度地利用同一图像不同失真度的嵌入向量之间的一致性来学习对数据增强保持不变的表示。
但自监督模型存在崩溃问题,即将所有输入映射到同一常数向量,因此研究人员提出了各种方法来解决该问题,这些方法依赖于不同的机制,虽然成功地防止了...