我正在用python开发一个神经网络模型,使用各种资源将所有部分组合在一起。一切都正常,但我对一些数学问题有疑问。该模型具有可变数量的隐藏层,除了最后一个使用sigmoid的隐藏层之外,所有隐藏层都使用relu激活。
成本函数为:
def calc_cost(AL, Y):
m = Y.shape[1]
cost = (-1/m) * np.sum((Y * np.log(AL)) - ((1 - Y) * np.log(1 - AL)))
return cost其中AL是在最后应用sigmoid激活之后的概率预测。
在反向传播的部分实现中,我使用了以下内容
def linear_backward_step(dZ, A_prev, W, b):
m = A_prev.shape[1]
dW = (1/m) * np.dot(dZ, A_prev.T)
db = (1/m) * np.sum(dZ, axis=1, keepdims=True)
dA_prev = np.dot(W.T, dZ)
return dA_prev, dW, db其中,给定dZ (相对于任何给定层的前向传播的线性步长的成本的导数),分别计算层的权重矩阵W的导数、偏置向量b和前一层的激活dA_prev的导数。
作为这一步的补充,前面的部分是这个等式:Z = np.dot(W, A_prev) + b
我的问题是:在计算dW和db时,为什么需要乘以1/m?我试着用微积分规则来区分这一点,但我不确定这个术语如何适用。
如有任何帮助,我们不胜感激!
发布于 2017-12-30 17:27:02
你的梯度计算好像错了。您不必将其与1/m相乘。此外,您对m的计算似乎也是错误的。它应该是
# note it's not A_prev.shape[1]
m = A_prev.shape[0]另外,calc_cost函数中的定义
# should not be Y.shape[1]
m = Y.shape[0]您可以参考以下示例了解更多信息。
发布于 2017-12-30 16:03:18
这实际上取决于你的损失函数,以及你是在每个样本之后更新权重,还是批量更新。看看下面这个老式的通用成本函数:

来源:MSE Cost Function for Training Neural Network
这里,假设y^_i是您的网络输出,y_i是您的目标值。y^_i是你的网络的输出。
如果你对y^_i求导,你永远不会去掉1/n或sum,因为sum的导数是导数的和。因为1/n是求和的一个因子,所以你也不能摆脱它。现在,想一想标准的梯度下降实际上在做什么。它会在计算所有n样本的平均值后更新权重。随机梯度下降可以用于在每个样本之后进行更新,因此您不必对其进行平均。批量更新计算每批的平均值。我猜在您的例子中是1/m,其中m是批处理大小。
https://stackoverflow.com/questions/48030868
复制相似问题