反向传播问题

Question

关于如何编写神经网络的反向传播算法，我有几个问题：

my网络的拓扑结构是输入层、隐藏层和输出层。隐藏层和输出层都具有sigmoid函数。

1. 首先，我应该利用这种偏见吗？我应该把网络中的偏见连接到哪里呢？我应该在隐藏层和输出层中每个层设置一个偏置单元吗？输入层呢？
2. 在此链接中，它们将最后一个增量定义为输入输出，并向后传播图中所示的三角洲。他们拿着一张桌子，在以前馈的方式传播错误之前，把所有的三角洲都放在一起。这是否背离了标准的反向传播算法？

​

1. 随着时间的推移，我应该减少学习因素吗？
2. 如果有人知道，弹性传播是一种在线或批量学习技术吗？

谢谢

编辑：还有一件事。在下面的图片中，d f1(e) / de，假设我使用的是乙状结肠函数，f1(e) * 1- f1(e)是吗？

​

Answer 1

1. 它各不相同。就我个人而言，我看不出有多少偏颇的理由，但我还没有对NN进行足够的研究，从而对它们提出有效的或反对的理由。我会试一试并测试结果。
2. 是这样的。反向传播包括首先计算三角洲，然后在网络中传播它们。
3. 是。学习因素应随着时间的推移而降低。然而，使用BP，您可能会碰到局部的、不正确的平台，因此，有时在第500次迭代时，将学习因素重置为初始速率是有意义的。
4. 我不能回答that.....never听到任何关于RP的消息。