用正负值作为神经网络输入？

Question

在神经网络中，我们有时把输入转换成z-分数.然而，z-分数包含负值和正值，如果我们使用这样的数字作为输入，似乎在某些情况下神经网络不会得到很好的训练？例如，损失函数w.r.t。如果输入(在这种情况下是z分数)改变符号，第一层中的权重变量将完全翻转。那么，在这两个培训班上的gradient * lr很可能会互相取消对方。

Answer 1

如果你训练一个神经网络的输入，你不能简单地转换这些输入而不改变你训练出来的网络的权重和偏差。你提议的转换确实是无效的。

考虑一个简单的回归案例，在这里我学习了一个模型y = ax + b。现在，我将输入转换为z = \frac{x - \mu}{\sigma}。ax + b = az + b当然不是真的。但是y = a(z\sigma + \mu) + b = a{\sigma}z + a\mu，还有一个等价的转换，如果您选择转换您的输入，您可以学习或者直接创建。毕竟，它们都只是线性变换。