首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >深度残差网络的直觉

问深度残差网络的直觉
EN

Stack Overflow用户
提问于 2017-04-08 04:28:24
回答 1查看 1.2K关注 0票数 5

我当时正在阅读深度剩余网络文件,其中有一个我无法完全理解的概念:

​

​

问题:

  1. 这是什么意思“希望两个重量层适合F(x)”?
  2. 这里F(x)处理具有两个权重层的x(+ ReLu非线性函数),所以所需的映射是H(x)=F(x)?残余物在哪里?
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-04-08 08:17:34

这是什么意思“希望两个重量层适合F(x)”?

因此,所示的残差单元通过处理具有两个权重层的F(x)来获得x。然后将x添加到F(x)中以获得H(x)。现在,假设H(x)是您理想的预测输出,它与您的实际情况相匹配。从H(x) = F(x) + x开始,获得所需的H(x)取决于获得完美的F(x)。这意味着剩余单元中的两个权重层实际上应该能够产生所需的F(x),然后保证得到理想的H(x)。

这里F(x)处理具有两个权重层的x(+ ReLu非线性函数),所以所需的映射是H(x)=F(x)?残余物在哪里?

第一部分是正确的。F(x)是从x获得的,如下所示。

代码语言:javascript
复制
x -> weight_1 -> ReLU -> weight_2

H(x)是从F(x)获得的,如下所示。

代码语言:javascript
复制
F(x) + x -> ReLU 

所以我不明白你问题的第二部分。残差为F(x)。

作者假设剩余映射(即F(x))可能比H(x)更容易优化。为了用一个简单的例子来说明,假设理想的H(x) = x。然后,对于直接映射,将很难学习身份映射,因为有如下所示的一堆非线性层。

代码语言:javascript
复制
x -> weight_1 -> ReLU -> weight_2 -> ReLU -> ... -> x

因此,要用所有这些权重和中间的ReLU来近似标识映射是很困难的。

现在,如果我们定义了所需的映射H(x) = F(x) + x,那么我们只需要获得F(x) = 0,如下所示。

代码语言:javascript
复制
x -> weight_1 -> ReLU -> weight_2 -> ReLU -> ... -> 0  # look at the last 0

实现上述目标很容易。只要将任何权重设置为零,您就会得到零输出。添加回x,您将得到所需的映射。

剩余网络成功的另一个因素是从第一层到最后一层的不间断梯度流。这超出了你的问题范围。有关此问题的更多信息,您可以阅读“深度残余网络中的标识映射”。

票数 6
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43290192

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档