CNN架构

Question

起初，这个问题不是关于编程本身，而是关于CNN架构背后的一些逻辑。我理解每个层是如何工作的，但我唯一的问题是:分离ReLU和卷积层是否有意义？我的意思是，一个ConvLayer是否可以通过使用反向传播来工作和更新它的权重，而不需要一个ReLU呢？

我想也是。这就是我创建以下独立层的原因：

1. ConvLayer
2. ReLU
3. 全连通
4. 联营
5. ConvLayer ->完全连接的转换(将3D输出转换为一维)。

我正在考虑将第1层和第2层合并为一个。我该去做什么？

Answer 1

简短的答案是: ReLU (或其他激活机制)应该添加到你们每一个卷积或完全连接的层。

神经网络和神经网络一般使用激活函数(如ReLU )在模型中引入非线性。激活函数通常不是一个层本身，它们是一个层的每个节点的额外计算。您可以将它们看作是一种机制的实现，该机制在查找和未找到特定模式之间作出决定。看这个帖子。

Answer 2

从TensorFlow的角度来看，所有的计算都是图中的节点(通常称为会话)。因此，如果您想要分离层--这意味着向计算图中添加节点--那么请继续，但我不认为这背后有任何实际的原因。当然，你可以反传它，因为你只是用求导来计算每个函数的梯度。