只使用完全连接层(而不是卷积层)构建残差网络有意义吗？

Question

残差网络总是用卷积层构建的。我从未见过仅具有完全连接层的剩余网络。构建仅具有完全连接层的剩余网络是否可行？

Answer 1

作为Tapio，我也不同意Giuseppe的结论。据说残留层以多种方式帮助提高性能:它们让梯度流更好地流动，它们可能有助于本地化等。我猜测，这些优势中的一些，如梯度流，也适用于由完全连接的层组成的网络。

其他的想法，比如我们学习残差F(X)-X，其中F是残差块，由于缺乏空间相关性，更值得怀疑。也就是说，对于大多数使用残留连接的can，我们有某种形式的局部性，即如果你有某个层的特征图X(你也可以将X视为输入)和残差块F(X)的输出，那么X和F(X)都是相关的。也就是说，位置Xi，j的映射经常类似于F(X)i，j的映射。这不适用于完全连接的网络，因为神经元不包含空间信息。然而，这在多大程度上重要可能是一个悬而未决的问题:-)。

Answer 2

可以，您可以在完全连接的网络中使用剩余网络。跳过的连接有助于学习完全连接的层。

这里有一篇很好的论文(不幸的是不是我的)，它是在哪里完成的，作者详细解释了为什么它有助于学习。https://arxiv.org/pdf/1701.09175.pdf

Answer 3

那么，让我们从: ResNets的目标是什么开始？

给定一个输入X，它通过特定的层集合传播，让我们用F(X)调用这个集合的输出。如果我们用残差表示所需的输出(理想映射，即F(X)!=H(X))，则可以将其写为F(X) = H(X)-X，即残差，由此名称残差网络。

那么，resnet有什么好处呢？

在resnet中，下一层的映射性能至少与前一层一样好。为什么？因为，至少，它学习了身份的映射(F(X)=X)。

这是与卷积网络相关的一个关键方面。事实上，深度较深的网络应该比深度较小的网络性能更好，但这种情况并不总是发生。由此产生了建立一个保证这种行为的网络的必要性。

对于密集网络也是如此吗？不，它不是。有一个关于密集网络的已知定理(万能逼近定理)，它指出:任何类型的网络都等价于一个两层密集的网络，其中有足够数量的隐藏单元分布在两层之间。因此，没有必要增加密集网的深度，而是有必要找到合适数量的隐藏单元。

如果你愿意，你可以探索He等人2015年的原始paper。