如果我们在神经网络中使用Z-得分(平均归一化)来标准化值，会发生什么？

Question

我目前正在做的DeepLearning.ai专门化，他们划分像素强度与它的最大值(255)，以标准化的数据时，处理分类神经网络的猫。Z_Score对此有什么影响？我的代码会失败吗?因为像素不能有负值，而负值将由Z-得分分配？

Answer 1

通过规范数据，代码不太可能受到负面影响。这是因为网络不知道图像作为输入数据的先验信息，它只接收一组数字值(可以表示任何类型的数据)，并找到权重和偏差的接近值，从而降低成本函数。

因此，即使我们得到负值作为新的输入数据，这并不意味着这一预处理将导致一个坏的影响。

但是，为什么规范化可能是有用的？

Z分数归一化的有用之处在于，通过这样做，所有的“新像素”都有一个零均值和相同方差的值。正如Yann LeCun在他的论文"高效背靠背“(第8页)中解释的那样，这是一件好事：

• 为什么使用平均接近于零的特性的数据：

如果训练集上的每个输入变量的平均值接近于零，则收敛速度通常更快。....When输入向量的所有组件都是正的，所有输入节点的权重更新都将是相同的符号。因此，对于给定的输入模式，这些权重只能全部减小或全部增加。因此，如果一个权向量必须改变方向，它只能通过弯曲，这是低效的，因此非常缓慢。

他所引用的表达式是用来更新第一层权重值的表达式，该表达式由以下人员提供：

\frac{\partial C}{\partial w_{jk}^{l=1}} = \delta_j^{l=1}x_k

其中，x_k表示输入像素值，w_{jk}^l表示连接输入k和第一层神经元j (l=1)的权重。因此，考虑到标量项\delta_j^{l=1}，很明显，如果所有的x_k都是正的，那么连接输入层到第一层神经元的所有权重都会按相同的方向更新，正如引文所解释的。

• 为什么使用具有相同差异特性的数据？：

缩放可以加快学习速度，因为它有助于平衡连接到输入节点的权重的学习速率。

正如我们前面看到的，在权重w_{jk}^{l=1}上提供更新的表达式与输入x_k成正比。因此，如果x_1样本比x_2样本具有更大的值，那么w_{j1}在w_{j2}上的更新可能是不平衡的，因此对这两个参数都进行了不同的更新。

顺便提一句，\rightarrow把每个特征(每个像素强度)除以最大值的方法不是Z分归一化，而是数据规范化的另一种方法(为了使用Z分数，我们在所有样本中使用每个像素的标准差来划分特征的数量)。