首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何利用张拉板监测角化过程中的梯度消失和爆炸?

问如何利用张拉板监测角化过程中的梯度消失和爆炸?
EN

Stack Overflow用户
提问于 2018-04-26 00:59:25
回答 1查看 8.2K关注 0票数 18

我想监测斜率变化与角角,以决定梯度是否消失或爆炸。我该怎么办?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-04-26 16:43:35

要可视化Tensorboard中的培训,将keras.callbacks.TensorBoard回调添加到model.fit函数中。不要忘记将write_grads=True设置为查看渐变。训练开始后你就可以跑了..。

代码语言:javascript
复制
tensorboard --logdir=/full_path_to_your_logs

..。并将浏览器指向htttp://localhost:6006。请参阅this question中的示例代码。

若要检查渐变/爆炸梯度,请注意感兴趣层(“分配”选项卡)中的梯度分布和绝对值:

  • 如果分布高度峰值,集中在0附近,梯度很可能正在消失。下面是一个concrete example,它在实践中的样子。
  • 如果分布随时间呈绝对值快速增长,则梯度呈爆炸式增长。通常,同一层的输出值也会很快成为NaN的输出值。
票数 25
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50033312

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档