- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI研习社
10个梯度下降优化算法+备忘单
默认值（来自Keras）： α = 0.01 ε = 10⁻⁷ 5. 它使用指数加权平均计算，而不是使用累积平方梯度和。 ? 其中， ? 并将S的初始值置0. 默认值（来自Keras）： α = 0.001 β = 0.9 (本文作者推荐) ε = 10⁻⁶ 6. 默认值（来自Keras）： β = 0.95 ε = 10⁻⁶ 7. 默认值（取自Keras）： α = 0.002 β₁ = 0.9 β₂ = 0.999 ε = 10⁻⁷ 10. 默认值（取自Keras）： α = 0.001 β₁ = 0.9 β₂ = 0.999 ε = 10⁻⁷ 直觉 我想和你们分享一些直观的见解，为什么梯度下降法优化器对梯度部分使用的是指数移动平均值（
1.5K40发布于 2019-07-22 - 来自专栏从流域到海域
梯度消失和梯度爆炸
type=detail&id=2001702118 梯度消失和梯度爆炸 ? 因此W>IW>IW>I时，yhaty^{hat}yhat就以指数级别增长(因为L个w相乘)，对应梯度爆炸。 同理W<IW<IW<I时，yhaty^{hat}yhat就以指数级别降低(因为L个w相乘)，对应梯度消失。 如何解决梯度消失和梯度爆炸 基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.
96030发布于 2019-05-26 - 来自专栏MiningAlgorithms
机器学习10：梯度优化与L正则化稀疏性
在实际应用中，我们随机初始化θ，取h为较小的数（例如10−7），并对 i=1,2,...,n，依次验证： ? 是否成立。 此时可以固定θ，减小h为原来的10−1，并再次计算下标i对应的近似误差，若近似误差约减小为原来的10−2，则对应于第一种可能，我们应该采用更小的h重新做一次梯度验证；否则对应于第二种可能，我们应该检查求梯度的代码是否有错误 批量梯度下降法在全部训练集（M）上计算准确的梯度，即： ? 而随机梯度下降法则采样单个样本来估计的当前梯度。 plt.show() # 5，再次设定eta=1.1的情况，比较与上面的区别： history_theta = [] eta = 1.1 gradient_descent(0, eta, n_iters=10 grad_check_naive(quad, np.random.randn(1, 10), 1e-4) # scalar test print("my check is pass ...
2.4K10发布于 2019-08-08 - 来自专栏深度学习与计算机视觉
梯度消失与梯度爆炸
简介 梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 ReLU激活函数，用Batch Normal，用残差结构解决梯度消失问题 正则化来限制梯度爆炸 梯度消失 梯度消失的原始是反向传播时的链式法则。 当模型的层数过多的时候，计算梯度的时候就会出现非常多的乘积项。 梯度爆炸 梯度爆炸也是类似的情况，只是系数>1，反复累计相乘之后，导致爆炸。 这样梯度消失的问题就缓解了。 正则化 L2正则化是在损失函数上施加的一个惩罚项，当损失过大的时候，让损失可以保持一个较小的值，避免了梯度爆炸，又有防过拟合的作用。
1.8K20编辑于 2021-12-07 - 来自专栏计算机视觉
PyTorch使用Tricks：梯度裁剪-防止梯度爆炸或梯度消失 ！！
前言 梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。 __init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) # optim.SGD(model.parameters(), lr=0.01) loss_fn = nn.MSELoss() # 假设我们有一些随机输入数据和目标 data = torch.randn(5, 10 这样，就可以获得每个参数的梯度的L2范数。 4、什么情况下需要梯度裁剪 梯度裁剪主要用于解决神经网络训练中的梯度爆炸问题。 （2）不能解决梯度消失问题：梯度裁剪只能防止梯度爆炸，但不能解决梯度消失问题。在深度神经网络中，梯度消失也是一个常见的问题，它会导致网络的深层部分难以训练。
4.2K10编辑于 2024-03-19 - 来自专栏讲编程的高老师
吴恩达机器学习笔记10-10分钟理解梯度下降法
本文是吴恩达《机器学习》视频笔记第10篇，对应第1周第10个视频。 “Linear regression with one variable——Gradient descent” 01 — 视频 02 — 笔记 概述： 本视频介绍如何通过梯度下降法求线性模型代价函数的最小值 ，但是要注意的是，梯度下降法可以用来求很多函数的最小值。 梯度下降算法描述 有了图形的感性认识，我们来看看它的算法描述。 我们把问题进一步简化，把它看成是二维平面上的代价函数J，这个时候我们的模型就简化成只有一个参数 ? 更深入的理解梯度下降，需要一点点微积分的知识。 那，梯度下降法具体该怎么应用呢？后面的两个视频会继续深挖。
96520发布于 2020-08-14 - 来自专栏自然语言处理
机器学习（九）梯度下降算法1 梯度2 梯度下降法
1 梯度 1.1 定义 梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。 关于梯度的更多介绍请看：如何直观形象的理解方向导数与梯度以及它们之间的关系？ 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。 如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。 ? 红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数F值最小的点。 ? 代码实现 参考： 梯度下降算法以及其Python实现 梯度下降法
1.6K80发布于 2018-04-11 - 来自专栏AutoML(自动机器学习)
Andrew Ng机器学习课程笔记--week10(优化梯度下降)
本周主要介绍了梯度下降算法运用到大数据时的优化方法。 ：，也叫批量梯度下降算法。 所以提出了随机梯度下降算法进行改进。 如图示，因为每次只更新一个权重，所以相比于批量梯度下降的收敛路线，随机梯度下降要更加崎岖迂回一些。而且每次收敛的结果也不一定相等。 2）Mini-Batch Gradient Descent 上面的随机梯度下降的收敛过程显得比较任性，所以综合前面提到的两种梯度算法的优点提出了小批量梯度下降算法，即每次考虑一小批量的数据来更新权重，算法如下
78980发布于 2018-01-23 - 来自专栏学弱猹的精品小屋
凸优化（4）——次梯度案例，加速梯度法，随机梯度下降法，近端梯度法引入
这一节我们开始把我们之前与梯度法和次梯度法有关的，但是还没有说完的部分说完。还有篇幅的话，就再谈一谈随机梯度下降方法。 那么我们开始吧。 目录 梯度方法，次梯度方法的加速 波利亚重球法 加速梯度方法 Nesterov加速梯度法 动量方法 次梯度方法的案例分析 随机梯度下降法 大规模问题下的随机梯度下降方法使用技巧 近端梯度方法引入 Source Hung-yi Lee, Machine Learning (videos on Bilibili) CMU 10-725, Convex Optimization Amir Beck (2017), 数值优化（3）——线搜索中的步长选取方法，线性共轭梯度法 数值优化（4）——非线性共轭梯度法，信赖域法 Nesterov加速梯度法 加速梯度法最有名的就是Nesterov加速梯度法，但必须要承认它的原理是非常难以理解的 然后才能利用次梯度方法的链式法则来得到这个结论。次梯度方法的链式法则和梯度的链式法则非常类似，也是针对复合函数求次梯度使用的。
2.9K10发布于 2021-08-09 - 来自专栏深度学习之tensorflow实战篇
梯度下降VS随机梯度下降区别
?
1.5K20发布于 2019-02-13 - 来自专栏blog-技术博客
梯度下降
梯度下降算法 梯度 函数上某一点的梯度是 向量，就是函数变化增加最快的地方。具体来说，对于函数f(x,y)，在点(x0，y0)沿着梯度向量的方向 : (df/dx0,df/dy0)的转置. 梯度下降算法 损失函数: J(w) w的梯度将是损失函数上升最快的方向,最小化loss ,反向即可 J(w_old) ---->J(w_old- k * ▽w_old的梯度)---->J( w_new) 方法 : 主要区别是每一次更新样本参数使用的样本个数是不同的 批量梯度下降 使用全部数据进行参数更新 w = w-k * ▽J(w) for i in range ,最后梯度可为0 随机梯度下降 w = w - k * ▽ J(w;xi;yi) 使用一个样本更新模型,速度快 for i in range(nb_epochs): np.random.shuffle SGD Momentum 基于动量的算法 前几次的梯度会参与到本次梯度的计算 原来:w = w - learning_rate * dw 现在: v = alpha
97530发布于 2020-05-11 - 来自专栏全栈程序员必看
SGD随机梯度下降_随机梯度法
在一个mini batch上的loss BGD 最原始的梯度下降算法，为了计算original-loss上的梯度，需要使用训练集全部数据 SGD （近似）计算original-loss梯度时，只使用一个 而SGD算法，每次随机选择一个mini-batch去计算梯度，在minibatch-loss上的梯度显然是original-loss上的梯度的无偏估计，因此利用minibatch-loss上的梯度可以近似 从引入randomness的角度来看，SGD中计算的梯度是对original-loss梯度的近似，相当于在original-loss梯度的基础上加了randomness，因此即使当前走到了original-loss 另一个角度，SGD计算的不是original-loss的梯度，而是minibatch-loss的梯度。 而SGD每次走的方向是minibatch-loss的负梯度方向（或者理解成original-loss的负梯度+randomness），显然这个方向和original-loss的负梯度方向不同，也就不是original-loss
1.2K10编辑于 2022-09-30 - 来自专栏杂七杂八
梯度下降
梯度下降（Gradient Descent）是在求解机器学习算法的模型参数（无约束优化问题）时，最常采用的方法之一 代价函数 提到梯度下降就不得不说一下代价函数。 代价函数 我们想要的结果是使这个函数最小，前面的1/2是为了在求导的时候方便计算 梯度下降 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(θ0 ,θ1 ) 的最小值。 梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快 ? 方法： 先确定向下一步的步伐大小，我们称为学习率Learning rate； 初始化参数的值 沿着负梯度方向去减小函数值并更新参数 当下降的高度小于某个定义的值或迭代次数超过一定限制，则停止下降； ? 梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值即可 ?
89950发布于 2018-04-27 - 来自专栏图像处理与模式识别研究所
梯度运算
IMREAD_UNCHANGED)#原始图像 kernel=np.ones((5,5,),np.uint8)#设置核kernel r=cv2.morphologyEx(o,cv2.MORPH_GRADIENT,kernel)#梯度运算 cv2.imshow("original",o) cv2.imshow("result",r) cv2.waitKey() cv2.destroyAllWindows() 算法：梯度运算是图像的膨胀图像减去腐蚀图像的操作 首先读取图像 进行腐蚀和膨胀操作 膨胀图像减去腐蚀图像，得到相减后的图像，获得梯度运算图像的结果 绘制前面两步生成的图片 对于膨胀图像A，腐蚀图像B： A-B={x|Bx⊆A} result=cv2.morphologyEx (img, cv2.MORPH_GRADIENT, kernel) img表示输入图像 cv2.MORPH_GRADIENT表示梯度运算 kernel表示梯度运算时所采用的结构类型 注意：此方法是基本梯度运算 ，基本梯度是膨胀图像减去腐蚀图像的差值；内部梯度是原图减去腐蚀图像的差值；外部梯度是膨胀图像减去原图的差值。
49210编辑于 2022-05-28 - 来自专栏计算机视觉理论及其实现
截断梯度
强非线性函数往往倾向于非常大或非常小幅度的梯度。这导致的困难是，当参数梯度非常大时，梯度下降的参数更新可以将参数抛出很远，进入目标函数较大的区域，到达当前解所做的努力变成了无用功。 一个简单的解决方案已被从业者使用多年：截断梯度(clipping the gradient)。此想法有不同实例。选择一种是在参数更新之前，逐元素地截断小批量参数梯度。 虽然参数更新与真实梯度具有相同的方向梯度，经过梯度范数截断，参数更新的向量范数现在变得有界。这种有界梯度能避免执行梯度爆炸时的有害一步。 如果爆炸非常严重，梯度数值上为Inf或Nan(无穷大或不是一个数字)，则可以采取大小为v的随机一步，通常会离开数值不稳定的状态。截断每小批量梯度范数不会改变单个小批量的梯度方向。 不像传统小批量梯度下降，其中真实梯度的方向是等于所有小批量梯度的平均。换句话说，传统的随机梯度使用梯度的无偏估计，而与真实梯度或小批量的梯度不再对齐，但是它仍是一个下降方向。
2.4K10编辑于 2022-09-03 - 来自专栏计算机视觉战队
梯度优化
本次分享旨在为您提供对不同梯度算法的直观感受，以期会帮助您更好地使用不同的梯度下降算法。首先，会罗列各种梯度下降算法的变种并简单地总结算法训练阶段的挑战。 如果你对梯度下降不熟悉，您可以看之前平台发表过的一篇分享。 ---- 梯度下降算法变种 存在三种梯度下降的变种，他们不同之处在于我们在计算目标函数梯度时所用数据量的多少。 批量梯度下降 普通的梯度下降，也称批量梯度下降，利用所有的训练数据计算目标函数的梯度。 ? 由于我们每进行一次参数更新需要计算整体训练数据的梯度，批量梯度下降会变得很慢并且一遇到内存吃不下数据就挂了。 值得注意的是先进的深度学习库提供对一些参数进行自动求导可以有效地计算梯度。如果你是自己来推梯度，梯度检查是一个不错的注意。本平台也推送过梯度求解过程。 随机梯度下降 随机梯度下降（SGD）以一个训练样例 ? 和标签 ? 进行一次参数更新。 ? 由于在每次参数更新前对相似的样例进行梯度重复计算， 批量梯度下降会在大数据集上进行冗余计算。
98990发布于 2018-04-18 - 来自专栏全栈程序员必看
随机梯度下降优化算法_次梯度下降
5.2 可视化损失函数 损失函数通常是在非常高维空间上定义的（例如在CIFAR-10 中，线性分类器权重矩阵的大小为10×3073），总共有30730个参数，它们难以可视化。 在CIFAR-10的例子中，小山是30730维的，因为W的维度是10×3073。在山上的每一个点上，我们都会得到一个特别的损失（地形的高度）。 下面我们来计算CIFAR-10损失函数在权重空间任意点上的梯度： # 要使用上面的代码我们需要一个只有一个参数的函数 # 在这里这个参数就是权重W，所以我们隐蔽地使用了 X_train和Y_train # 得到梯度 df = eval_numerical_gradient(CIFAR10_loss_fun, W) 梯度告诉我们沿着每个维度的损失函数的斜率，我们可以使用它来进行更新： # 初始损失值 step_size_log in [-10, -9, -8, -7, -6, -5,-4,-3,-2,-1]: step_size = 10 ** step_size_log W_new
94210编辑于 2022-09-30 - 来自专栏SIGAI学习与实践平台
理解梯度提升算法1-梯度提升算法
最速下降法 最速下降法是梯度下降法的变种。梯度下降法的原理在SIGAI之前的公众号文章“理解梯度下降法”中已经介绍。 ，如果下一个弱学习器h(x;a)的预测值指向该负梯度方向，根据梯度下降法的原理，加上这个弱学习器，即向前走一步之后损失函数值是下降的。 梯度提升算法可以看做是梯度下降法与加法模型的结合。 在日常生活中，经常会遇到类似的问题，比如说打高尔夫球。刚开始，你的球离球洞有500米远，指望一杆就打进洞那是不可能的 ? 步长ρm由直线搜索确定，即寻找使得函数值下降最快的梯度步长 ? 这个步长可以理解为我们每次打一杆时用的力的大小，而负梯度则是我们用力的方向。 将梯度提升框架用各种不同的损失函数，得到各种具体的梯度提升算法，解决分类和回归问题。如果弱学习器是决策树，则为梯度提升树。这些具体的算法将在下一篇文章中讲述。
2.2K40发布于 2018-12-28 - 来自专栏懂点编程的数据分析师
梯度下降法
前言 梯度下降法gradient descent是求解无约束最优化问题的一种最常用的方法，它是一种迭代算法，每一步需要求解目标函数的梯度向量。 问题抽象 ? 是 ? 的 值，直至收敛 梯度下降：负梯度方向是使函数值下降最快的方向，我们在迭代的每一步都以负梯度方向更新 ? 的值 收敛：给定一个精度 ? ，在迭代的每一轮根据梯度函数 ? 计算梯度 ? ， ? 时认为收敛 学习率：也叫做步长，表示在每一步迭代中沿着负梯度方向前进的距离 直观理解 以下图为例，开始时我们处于黑色圆点的初始值（记为 ? 的梯度。 接着我们求出第 ? 次的迭代值 ? : ? 其中 ? 是搜索方向，取负梯度方向 ? ， ? 是步长，需满足： ? 算法实现 输入：目标函数 ? ，梯度函数 ? 归一化：如果不归一化，会收敛得比较慢，典型的情况就是出现“之”字型的收敛路径 注意事项 当目标函数是凸函数时，梯度下降法是全局的最优解，一般情况下梯度下降法的解不一定是全局最优解 梯度下降法的收敛速度未必是最快的
78020发布于 2020-06-09 - 来自专栏caoqi95的记录日志
PyTorch 梯度校验
rtol=0.001, raise_exception=True, check_sparse_nnz=False, nondet_tol=0.0) 该函数应用小有限差分来校验相关 Tensor 的梯度 如果不是的话，梯度校验可能会失败。
1.6K20发布于 2020-02-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号