为什么在ResNet中会在残留连接后应用ReLU？

Question

在ResNet架构中，为什么ReLU激活是在残差块中的残差进行元素相加之后应用的，而不是在残差块之前应用的？

Answer 1

因为它是以这种方式提出的。在以下工作中对剩余连接进行了调查：https://arxiv.org/pdf/1603.05027.pdf和他们发现，跳过-> BN -> RELU -> Conv -> BN -> RELU -> Conv -> Add工作得最好。

但是，性能上的差异可以忽略不计，因此原始的ResNet公式占上风。尽管如此，如果你想知道什么是有效的，什么是无效的，你可以阅读这篇论文。