理解ResNet论文

Question

我很难理解“ResNet 纸”中符号背后的数学含义：

我认为我们试图优化的函数是表示为\mathcal{F}(x) + x的残差，\mathcal{F}(x)是2或3个卷积层的输出，x是卷积之前的原始输入。

我的问题是:什么是\mathcal{H}(x)，在论文中被多次提到，所以\mathcal{F}(x) = \mathcal{H}(x) - x？

不太清楚“所需的底层映射、\mathcal{H}(x)”和“底层映射适合少数层叠层”是什么意思。

谢谢。

Answer 1

\mathcal{H}(x)是你想用神经网络逼近的函数。

通常，您会训练一个模型\mathcal{H}_\theta(x)，它直接试图通过最小化一些损失的\mathcal{L}(h(x), \mathcal{H_\theta}(x)), h(x) \sim \mathcal{H(x)}来学习这个函数，但是在本文中，作者证明了优化残差\mathcal{F}(x) := \mathcal{H}(x) - x更容易，即每个层只学习\mathcal{H}(x)的一小部分，这样所有层的组成都提供了一个更好的近似。