在神经网络中，为什么我们在反向传播时把负放在导数前面？

Question

我在NN上学习。我知道它是如何工作的粗略想法，但仍然有一件事不清楚。为什么我们要把负号放在导数前面？在导数本身是负的情况下，它不应该只是导数吗？我的意思是，如果点a的梯度已经是负的，那么负号就不应该出现。难到不是么？请帮帮忙。

Answer 1

反向传播中的导数回答了这个问题:如果我增加weight (x)，loss (y)将如何改变？

对于正导数-为了减少损失，我们必须降低权重。为了减少权重，我们只需要减去正值。

对于负导数-为了减少损失，我们必须增加权重。要做到这一点，我们需要减去负值。

对于这两种情况，我们都需要用与导数相同的符号减去值。

w1 = w0 - derivative

导数也在回答损失会有多大的问题？但它不是完全准确的，因为它告诉我们多少，只针对当前点的平坦坡度。为了更好地控制我们可以使用因子学习率的程度

w1 = w0 - lr * derivative