什么是深度监管？

Question

我对用于医学成像的分割模型很感兴趣。当我看到最先进的建筑时，我倒在了一张关于一种新建筑Unet++的纸上：

UNet++：一种用于医学图像分割的嵌套U-Net体系结构--来自亚利桑那州立大学的周宗伟、马赫富祖拉赫曼·西迪基、尼玛·塔伊巴赫什和梁建明

和Unet一样，它有一个具有跳过连接的编码器/解码器结构(将编码器的细粒度特征映射添加到解码器中)。但是，在Unet++中，跳过连接是嵌套和密集的，因此模型可以提高捕获细粒度细节的能力。

与欧洲教育组织的第二个不同之处是使用深度监督。这些报纸说，深入的监督可以使：

该模型以两种模式运行: 1)精确模式，所有分割分支的输出均为平均值；2)快速模式，其中仅从一个分割分支中选择final分割图，其选择决定模型剪枝的范围和速度增益

我不明白监管有多深入，Unet++的好处是什么。

你能解释一下它的工作原理吗？提前谢谢你的帮助。

Answer 1

部分回答:引用纸

这种深度监控的优势是显而易见的：(1)对于训练数据较少、网络相对较浅的网络，深度监控功能对经典fi的准确性和学习特性具有较强的“正则化”作用；(2)对于大训练数据和更深层次的网络，深度监控可以方便地利用极深网络通过改进其他问题的收敛行为而带来的显著fi性能增益。

Answer 2

深度监督的思想是在网络的每个隐层上加入所谓的伴目标函数，然后计算最终损失作为输出损失加同伴损失之和。本文介绍了这一思想：

@inproceedings{lee2015deeply,
  title={Deeply-supervised nets},
  author={Lee, Chen-Yu and Xie, Saining and Gallagher, Patrick and Zhang, Zhengyou and Tu, Zhuowen},
  booktitle={Artificial intelligence and statistics},
  pages={562--570},
  year={2015},
  organization={PMLR}
}