这个神经网络有多少层？

Question

我试图确保我使用的是正确的术语。下图显示了MNIST示例

X is 784 row vector
W is 784X10 matrix
b is a 10 row vector
The out of the linear box is fead into softmax
The output of softmax is fed into the distance function cross-entropy

​

​

这个神经网络有多少层？该示例中的input和hidden层是什么？

类似地，如果我的理解是正确的，那么this answer层中有多少层？

编辑

@lejlot以下是否表示有1个隐藏层的3层NN？

​

​

Answer 1

看看这张照片：

net.jpeg

在第一张图片中，您只有两层：

• 输入层-> 784神经元
• 输出层-> 10神经元

您的模型太简单了(w包含输入和输出之间的直接连接，b包含偏差项)。

在没有隐藏层的情况下，您将获得一个线性分类器，因为线性组合的线性组合再次是线性组合。隐藏层包括模型中的非线性转换。

在您的第二张图片中，您有三个层，但是您对表示法感到困惑：

• 输入层是放置输入数据的向量x。
• 然后操作-> w -> +b -> f() ->是第一层和第二层之间的连接。
• 第二层是存储结果z=f(xw1+b1)的向量。
• 然后，软最大值(zw2+b2)是第二层和第三层之间的连接。
• 第三层是向量y，在这里存储最终结果y=softmax(zw2+b2)。
• 交叉熵不是一个层次，而是成本函数来训练你的神经网络。

编辑：

还有一件事，如果您想获得一个非线性分类器，您必须在每个隐藏层中添加一个非线性变换，在我所描述的示例中，如果f()是一个非线性函数(例如sigmoid，soft符号，.)：z=f(xw1+b1)

如果您只在输出层中添加了一个非线性转换(最后的softmax函数)，则您的输出仍然是线性分类器。

Answer 2

它有一个隐藏层。

你的答案链接到，我会调用一个2隐藏层神经网络。

你的输入层是X向量。您的图层Wx+b是隐藏层，又名。你照片里的盒子。输出层是软最大层.交叉熵是你的损失/成本函数，根本不是一个层。