神经网络:如何利用弱/无监督数据来改进有监督网络？

Question

让我们考虑一下，我们已经为某些任务建立了一个完全监督的神经网络，例如在各种场景中定位一个对象。正如您可以想象的那样，给数据贴上标签是很费时的:一个人必须手动地在图像中定位对象，然后在它周围画一个边框--一次一个。

假设我们有一个正常的卷积神经网络(CNN)来进行全员监督的定位，因此这样的情况如下：

          2D input image
                |
       convolutional-layer 1
                |
               ...
                |
       convolutional-layer N
                |
      ---flattened output---
                |                    
    fully-connected classifier
                |
           output layer

我们怎样才能使这种架构也能利用标签不高的数据呢？

不管我们是否采用滑动窗口方法，比如OverFeat或实际定位对象的概率分布:我们总是需要完全标记的训练数据。这是一个问题，因为标签数据的全面监督真的很费时.因此，完全标记的数据集非常罕见。

与此形成对照的是，通常存在大量弱标记或未标记的数据。在我看来，有很大的潜力，在弱标签/无标签的数据，因为它的巨大的可用性。问题是，利用这一潜力，而不必手动标记每一个样本。

尽管如此，我的问题是:如何利用弱标记数据集(即“对象”与“无对象”)或完全无标记的数据集来提高像上述CNN那样的全监督体系结构的健壮性？

是否有可能将有监督的方法与无监督的方法混为一谈？就像允许一个完全监督的体系结构以某种方式利用标签弱的数据进行培训一样？

Answer 1

你会发现半监督的目标检测算法和弱监督的目标检测。半监督目标检测使用监督学习术语(手工标记数据)和半监督学习术语(未标记数据)。弱监督的目标检测使用不完全、不准确或部分的粗粒度数据.

对于被弱监督的目标检测，我推荐这两个调查。https://arxiv.org/abs/2104.07918

• 弱监督目标定位与检测：https://arxiv.org/abs/2105.12694综述
• 弱监督目标检测与目标定位的深度学习研究综述

对于半监督的目标检测，我不知道直接调查。所以我推荐两份文件。

• 自适应类重平衡自训练的https://arxiv.org/pdf/2107.05031.pdf半监督目标检测(CVPR 2021)
• 基于https://proceedings.neurips.cc/paper/2019/file/d0f4dae80c3d0277922f8371d5827292-Paper.pdf一致性的半监督学习在目标检测中的应用(NeurIPS 2019)

在“半监督学习”中，大多数采用了“伪标签”中的“自我训练”方案。因此，我建议对半监督学习进行调查。https://link.springer.com/article/10.1007/s10994-019-05855-6

• 半监督学习研究综述(“机器学习”，2019年)