平均绝对误差的偏导数

Question

MAE的偏导数是多少？我知道对于均方误差，假设使用以下版本的均方误差，则相对于某些x1的偏导数将为-x1 * (y_pred - y_actual)。

​

​

当损失函数是MAE而不是MSE时，x1的偏导数是多少？我一直在找这个，但一直没找到。当x1大于0时是-(y_pred - y_actual)，当x1小于0时是(y_pred - y_actual)吗？或者我还漏掉了什么？

Answer 1

除非你只有一个神经元，否则损失函数对每个权重的偏导数没有固定的公式；它严格依赖于网络中神经元之间的连接。而且偏导数公式不是只有一个，每个权重都有一个不同的。

对于具有2、3层的小型网络，应用链式法则和求和法则手动求出损失函数的偏导数，否则需要采用反向传播中的动态规划。