首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >神经网络优化中的反向传播与学习速率

问神经网络优化中的反向传播与学习速率
EN

Data Science用户
提问于 2020-09-19 21:50:01
回答 1查看 36关注 0票数 0

我在研究反向传播是如何工作的?我读到,反向传播被用来在每次迭代后用部分导数找到每个神经元的最优权重,并更新神经元的权重。

另一方面,我们有一个叫做“学习速率”的超参数,用来通过计算误差的方向来更新每一次迭代中神经元的权重。

这两种情况看起来是独立工作的,我的意思是,当反向传播算法本身找到最优权重时,我们不需要一个学习速率参数本身。

我的理解正确吗?如果我错了,请纠正我。

EN

回答 1

Data Science用户

回答已采纳

发布于 2020-09-19 23:08:03

使用反向传播只不过是执行(随机)梯度下降。

它计算梯度,但它不是“最优”的权重。梯度用于更新当前的权重(根据梯度下降算法)。

梯度下降算法需要一个步长(在机器学习环境下称为学习速率)。

步骤大小定义了当前权重是如何由当前梯度更新的。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/81979

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档