反向传播阈值

Question

阈值在反向传播算法中的应用是什么？我为类标签标识编写了一个java代码。我对神经元使用了一些随机阈值(0-1)。我对系统进行了培训，并使用一些data.It进行了测试，效果非常好。但是，该算法在使用阈值或不使用阈值时有什么不同。

Answer 1

你所说的“阈值”实际上是神经元所表示的仿射变换中的偏差。

f(w,x,b) = g(<w,x>+b)

偏差不应如您所建议的那样用作常量，而应像网络中的任何其他参数一样被训练。通常，一个人只是简单地加上一个假设的“偏倚神经元”总是等于1，所以偏倚就变成了另一个重量。

f(w,x,b) = g(<[w b], [x 1]>)

为什么有偏见很重要？一般来说，没有偏见意味着，在你的神经元中训练的“过滤器”(特征检测器)必须经过原点。您可以将每个神经元看作输入空间中的一个超平面，在其周围“折叠”这个空间，这样您的数据就变得更加可分离了。如果你没有偏见-所有这些超平面关闭在原点。如果你把它们固定为常量，你就可以确定它们与原点之间的距离。最后，如果你训练他们-算法可以自由地把他们放在输入空间(期望的行为)。