理解权重矩阵或θ矩阵的维数是3X4有困难吗？

Question

我在学习Andrew Ng关于Ml的课程，在神经网络第四周的幻灯片中，当谈到模态表示1时，他提到权重矩阵的维数是3X4，如下所示：

​

我知道有一个公式告诉我们，如果在第j层有Sj个节点，在j+1层有sj+1个节点，那么从j到j+1层的矩阵映射的维数将是S(j+1) X (Sj + 1)。

但是我不知道这个公式是怎么来的，因此不能理解上面的例子。

Answer 1

Theta (权重)矩阵的大小是(输出x输入)。

输入包括偏置单元。

输出不包括偏置单位。

在图中，它将是3 x (3+1)。这里，附加的1是加到输入上的偏置单位。

因此，简单的公式是S(j+1) X (Sj + 1)，它是3 x (3+1)

Answer 2

从图中我们可以了解到以下几点：

1. j是层号
2. sj是相应的第j层中的节点数。

例如，在第一层中，j=1和节点数sj = 3。

在所示的体系结构中，我们有三层。

1. 输入图层(j=1和s1 =3)
2. 隐藏图层(j=2和s2 =3)
3. 输出图层(j=3和s3 =1)

现在，θ是各层之间的权重矩阵。Theta也称为权重或parameters.We有三层，因此有两个矩阵，theta1和theta2。

weight_matrix1(Theta1)映射位于输入图层和隐藏图层之间

weight_matrix2(Theta2)映射位于隐藏图层和输出图层之间

按公式：

权重matrix1的维度(在s2和s1之间)= s2 * (s1+1) =3 *(3+1) =3*4

权重matrix2的维度(在s3和s2之间)= s3 * (s2+1) =1 *(3+1) =1*4

我们加1来说明偏置层x0。对于矩阵乘法，matrix1中的行数应等于matrix2中的列数。在这个例子中，我们知道layer1的维度和第二层的维度，我们从这些维度计算出weight_matrixθ的维度。