“前向网络”和“完全连接的网络”有什么区别？

Question

有时我对这两个术语感到困惑。因此，我要求澄清这一点。有人说“前馈网络”是一种典型的神经网络。如果是这样的话，“前馈网络”意味着更大的范围，包括“完全连接的网络”？如果是这样，RNN或CNN也包括在“前馈网络”中吗？我想不是..。我希望有一个清晰的描述。谢谢。

Answer 1

它们实际上是独立的属性：

• 前馈网络是一个没有递归连接的网络，也就是与递归网络(RNN)相反的网络。这是一个重要的区别，因为在前馈网络中，梯度是通过反向传播 (即链规则)明确定义和计算的，而在递归网络中，梯度计算可能需要无限多的操作，所以通常必须将其限制在固定的步骤数上，而且在任何情况下它也比较昂贵(参见逆传时间)。
• 一个完全连接的网络，或者更恰当的说，网络中的一个完全连接的层是这样一个:每个输入神经元都连接到下一层中的每个神经元。例如，这与卷积层形成对比，其中每个输出神经元依赖于输入神经元的一个子集。

经典的多层感知器是由完全连接的层组成的前馈网络。大多数所谓的“卷积网络”也是前馈的，由许多卷积层和池层组成，但也有一些完全连接的层。像LSTM这样的递归单元可能通常不被认为是完全连接的，因为它的内部结构稍微复杂和具体一些，但是您可以说它们有点复杂，因为最终每个输出都在某种程度上依赖于每一个输入；然而，它们并不是前馈的，因为它们呈现循环连接。

Answer 2

前馈网络是一个没有周期的网络，参考网络。

CNN是前馈网络，RNN不是。实际上RNN也没有循环，只是从某种角度你可以想象RNN有一个周期来理解这个概念。

一些最先进的网络包括卷积层和完全连接层，在全连通层中，神经元与透水层中的所有神经元都有连接。在卷积层中，每个神经元只连接到前一层中的少数神经元(取决于核大小)。