在神经网络中选择学习率

Question

我建立了一个神经网络。例如，在权重更新步骤中，平均误差平方直接到达0

mean error quadratic 1 =  1.2
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 
mean error quadratic 1 = 0 ....................

我不知道问题出在哪里

我的神经网络的规模是：

输入= 324 * 540目标= 10 * 540

当我尝试处理这种大小的其他数据时

输入= 81* 540目标= 10 * 540

它起作用了。

也许问题出在学习率上？

Answer 1

这听起来像是平均误差二次计算器的问题。

神经网络不可能收敛得那么快(如你所知)，如果神经网络出现问题，可能会抛出错误。如果nn恰好舍入到与您的特定样本相匹配的输出的数字(如果答案为0，所有权重都舍入为0)，则会出现异常。

基本上，我怀疑这是由于样本数据很少，或者是平均误差二次计算器有问题。

希望这能有所帮助！