神经网络能够处理非标准化输入吗？

Question

到目前为止，我学习到的所有深入学习的技术/模型都是从对特征的某种归一化开始的，例如，高斯方法、极小尺度、鲁棒缩放、批归一化、例如规范化。

是否有任何技术可以运行神经网络而不进行归一化，以便网络能够看到(绝对值)值的大小，并根据这个值而不是标准化的值进行响应？如果我不规范我的数据，会不会出现爆炸/消失梯度问题？

例如，如果我为多变量时间序列数据训练自定义的LSTM网络，特征向量x的输入维数是从t-n到t的所有值，其中n是时间步数，输出向量是t+1的值。在这种情况下是否需要正常化？

Answer 1

规范化有助于消除数据中变量之间可能存在的比例因素。以预测房价的经典问题为例。如果你用平方毫米来表示你的房子的面积，那么这个值的巨大变化对房价的影响就会相对较小，这就意味着这个变量的梯度很小。如果你用平方公里来表示这个数值，一个小的数值变化会对价格产生很大的影响，这意味着一个很大的梯度。规范化不一定是必需的，但可以通过使模型中的所有变量具有“同等权重”来帮助平衡问题。如果你要在你的训练数据中同时包含平方毫米和平方千米的变量，神经网络可能会花费大量的精力来优化这个平方千米变量，因为它在数字上更重要。您仍然可以使用未规范化的数据进行培训，但如果您的重要变量是最小的，则可能需要更长的时间，并且可能会有更糟的输出。