激活函数与偏导数wrt的导数。损失函数

Question

人工智能中的一些术语让我很困惑。反向传播中使用的导数函数是激活函数的导数或损失函数的导数。

这些术语令人困惑:行为的派生。函数，偏导数wrt.损失函数？？

我还是没搞清楚。

Answer 1

优化模型时，定义损失函数。这通常表示与某些培训数据有关的错误。

通常使用基于梯度的优化来最小化这一错误。通常，随机梯度下降(SGD)和相关的方法(Adam，Adagrad等)。

损失函数的梯度，是由损失相对于模型中各权重的偏导数组成的向量。

在每次迭代中，根据梯度的方向更新权重(记住我们正在最小化)。

我想您可能会感到困惑的原因是，由于链规则，在计算损失函数的梯度时，需要区分激活函数。但请记住，这是因为链条规则。