输入数据正态分布

Question

在将输入数据纳入RNN之前，是否应将输入数据规范化为正态分布？如果是，为什么？目前，几乎所有的列都被正确地移动了，所以它根本不是正态分布。

Answer 1

您不一定需要将输入转换为正态分布，但是您可能需要对它们进行预处理，以便它们的大多数值介于0到1之间。否则，当对内部节点使用sigmoid函数时，可能会导致饱和。例如，如果您的输入是每个U(0,1000)，那么就不需要转换为正态分布，而是只需缩放0.001。