标准全连接神经网络最后一层的输出大小是否与输入大小相同？

Question

假设我有一个密集层的神经网络。输入层有3个神经元，单个隐层有5个神经元，最后输出层有2个神经元。

对于第1层，3个输入进入，5个输入输出。对于第二层，来自第1层的5个输入进入，2个输入输出。那么对于第三层，会有2个输入进入，2个输入输出吗？

Answer 1

在稠密的神经网络中，

• 输入到某一层取决于前一层的输出及其神经元计数。
• 第一层的前一层是输入数据特征
• 一个层的输出等于该层的神经元计数。每一层的一份拷贝都指向下一层的所有神经元。

对于你的案子来说，

• 第一层将有*M(输入特征)，3输入进入，即M到每个神经元和3出来。

• 第二层将有*3(前一层)5输入，5输出。

• 最后一层将有5个(前一层)*2个输入，2个输出

神经网络是一种复杂的张量运算。箭头和圆圈是逻辑表示。每个箭头得到一个权重，每个圆圈得到激活函数和偏置项。所以，你也可以这样数数。

\hspace{3cm}

使用Keras Model.summary结果验证这一点，该结果显示参数计数。

Answer 2

在深度全连接网络中，输入和输出的大小是相互独立的.例如，可以有输入矩阵形状(100, 100, 100)和输出形状(1,)。

Answer 3

我觉得你把体重和神经元弄糊涂了。

最后一层的输出:特定问题的(二进制:单个神经元，多类/多标签:类的neurons=number数)神经元的数量。

最后一层的输入:权值等于前一层中的神经元数+1(偏置)每一个输出神经元。