首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用python/numpy的反向传播--计算神经网络中权重和偏差矩阵的导数

问使用python/numpy的反向传播--计算神经网络中权重和偏差矩阵的导数
EN

Stack Overflow用户
提问于 2017-12-30 12:13:22
回答 2查看 4K关注 0票数 1

我正在用python开发一个神经网络模型,使用各种资源将所有部分组合在一起。一切都正常,但我对一些数学问题有疑问。该模型具有可变数量的隐藏层,除了最后一个使用sigmoid的隐藏层之外,所有隐藏层都使用relu激活。

成本函数为:

代码语言:javascript
复制
def calc_cost(AL, Y):
  m = Y.shape[1]
  cost = (-1/m) * np.sum((Y * np.log(AL)) - ((1 - Y) * np.log(1 - AL)))
  return cost

其中AL是在最后应用sigmoid激活之后的概率预测。

在反向传播的部分实现中,我使用了以下内容

代码语言:javascript
复制
def linear_backward_step(dZ, A_prev, W, b):
  m = A_prev.shape[1]

  dW = (1/m) * np.dot(dZ, A_prev.T)
  db = (1/m) * np.sum(dZ, axis=1, keepdims=True)
  dA_prev = np.dot(W.T, dZ)

  return dA_prev, dW, db

其中,给定dZ (相对于任何给定层的前向传播的线性步长的成本的导数),分别计算层的权重矩阵W的导数、偏置向量b和前一层的激活dA_prev的导数。

作为这一步的补充,前面的部分是这个等式:Z = np.dot(W, A_prev) + b

我的问题是:在计算dW和db时,为什么需要乘以1/m?我试着用微积分规则来区分这一点,但我不确定这个术语如何适用。

如有任何帮助,我们不胜感激!

EN

回答 2

Stack Overflow用户

发布于 2017-12-30 17:27:02

你的梯度计算好像错了。您不必将其与1/m相乘。此外,您对m的计算似乎也是错误的。它应该是

代码语言:javascript
复制
# note it's not A_prev.shape[1]
m = A_prev.shape[0]

另外,calc_cost函数中的定义

代码语言:javascript
复制
# should not be Y.shape[1]
m = Y.shape[0]

您可以参考以下示例了解更多信息。

Neural Network Case Study

票数 1
EN

Stack Overflow用户

发布于 2017-12-30 16:03:18

这实际上取决于你的损失函数,以及你是在每个样本之后更新权重,还是批量更新。看看下面这个老式的通用成本函数:

​

​

来源:MSE Cost Function for Training Neural Network

这里,假设y^_i是您的网络输出,y_i是您的目标值。y^_i是你的网络的输出。

如果你对y^_i求导,你永远不会去掉1/n或sum,因为sum的导数是导数的和。因为1/n是求和的一个因子,所以你也不能摆脱它。现在,想一想标准的梯度下降实际上在做什么。它会在计算所有n样本的平均值后更新权重。随机梯度下降可以用于在每个样本之后进行更新,因此您不必对其进行平均。批量更新计算每批的平均值。我猜在您的例子中是1/m,其中m是批处理大小。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48030868

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档