- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI机器学习与深度学习算法
机器学习入门 6-6 随机梯度下降法
本小节主要介绍批量梯度下降法的弊端进而引出随机梯度下降法，并通过代码构建随机梯度下降法。 一 批量梯度下降法的弊端 前几个小节介绍的梯度下降法，一直是将想要最优化的损失函数相应在某一点θ的梯度值准确的求出来。 ? 通过上面的公式也可以看出，要想求出准确的梯度，梯度向量中的每一项都需要对所有样本进行计算，这样的梯度下降法称之为批量梯度下降法（Batch Gradient Descent）。 此时检查的样本量比在批量梯度下降法一次循环检查的样本量都要少。在批量梯度下降法的时候每次循环都要对所有的样本进行计算来算出真正的梯度。 ? 时间比批量梯度下降法要快的多，而且两种梯度下降法得到的结果非常接近。随机梯度下降法只检测了三分之一样本就得到相对精度比较高结果。
1.1K00发布于 2019-11-13 - 来自专栏算法channel
BAT面试题15：梯度消失与梯度膨胀，以及6种解决措施
梯度消失和梯度膨胀的解决方案 本文提供6种常见的解决梯度消失和膨胀的方法，欢迎阅读学习。 3.2 梯度剪切、正则 梯度剪切这个方案主要是针对梯度爆炸提出的，其思想是设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内，通过这种直接的方法就可以防止梯度爆炸 注：在WGAN中也有梯度剪切限制操作，但是和这个是不一样的，WGAN限制梯度更新信息是为了保证lipchitz条件。 其中，α 是指正则项系数，因此，如果发生梯度爆炸，权值的范数就会变的非常大，通过正则化项，可以部分限制梯度爆炸的发生。 注：事实上，在深度神经网络中，往往是梯度消失出现的更多一些。 总结 文章总结了什么是梯度消失和梯度膨胀；文章大部分篇幅总结了解决这些问题的常用方法，提到了一些经典的论文，有兴趣的可以学习。
4.3K10发布于 2018-12-19 - 来自专栏AI机器学习与深度学习算法
学习回归 1-6 随机梯度下降法
，梯度下降算法还有没有其它的缺点呢？ 图片 梯度下降算法与随机梯度下降算法 两种梯度下降算法： 梯度下降算法，每一次参数更新都需要使用所有训练数据计算梯度； 随机梯度下降算法，每一次参数更新都需要随机对某一个训练数据计算梯度。 简单总结一下两种梯度下降算法的优缺点： 梯度下降算法： 优点：由于使用全部的训练数据计算梯度，因此每次参数更新都会向着目标函数下降最快的方向移动，参数更新的行进轨迹波动小，比较稳定； 缺点：由于每次参数更新使用全部的训练数据计算梯度 小批量梯度下降算法 梯度下降算法和随机梯度下降算法，一个使用全部的训练数据计算梯度，一个使用随机的一个训练数据计算梯度，两种方式都比较极端。 小批量梯度下降法是综合了随机梯度下降法和批量梯度下降法的优缺点，运行的速度比梯度下降法快，而比随机梯度下降法要稳定。 References： 《白话机器学习的数学》
88420编辑于 2022-11-08 - 来自专栏AI机器学习与深度学习算法
机器学习入门 6-8 如何确定梯度计算的准确性 调试梯度下降
本小节主要介绍梯度的调试，应用梯度下降法最主要的就是计算梯度，但很有可能计算梯度程序没有错但是求得的梯度是错误的，这个时候就需要使用梯度调试的方式来发现错误。 一 梯度的调试 前几个小节介绍了什么是梯度下降法，在使用梯度下降法的过程中最重要的就是求出定义的损失函数在某一个参数θ上的梯度值。 本小节介绍一个最简单的方法，能够调试使用梯度下降法的过程中对梯度求解公式相应的推导。下面使用二维为例： ? 红色点是我们想要求梯度的点，此时在二维坐标下红色点对应的梯度就是曲线上过红色点的切线的斜率。 ，然后再使用推导公式的方式来看最终所求的梯度和使用调试梯度的方法所求出来的梯度是不是能够对上。 这个例子告诉我们两件事情： dJ_dubug这种求梯度的方法是可以的，最终能够得到正确的结果； 当我们使用dJ_dubug的时候最终训练的速度会慢很多； 所以如果机器学习算法涉及到梯度的求法的时候，我们完全可以通过这种调试梯度的方式来验证我们推导梯度计算的数学解是否正确
1.2K00发布于 2019-11-13 - 来自专栏代码编写世界
最小二乘问题详解6：梯度下降法
不过，求解非线性最小二乘问题还有另外一种方法——梯度下降法。 2. 求解 接下来就来介绍一下使用梯度下降法求解非线性最小二乘问题。 noise(0.0, 0.05); // 小噪声 for (int i = 0; i < N; ++i) { x_data[i] = -2.0 + i * 0.4; // x 从 -2 到 6 = 1e-6; cout << "\n开始梯度下降... 因此，在实际的工程应用中，通常不会使用原始的梯度下降法，而是根据需求使用不同优化版本的梯度下降法。关于这一点，有机会的话会在后续的文章中进一步论述。
22310编辑于 2025-10-29 - 来自专栏又见苍岚
二次型优化问题 - 6 - 共轭梯度法
本文介绍二次型优化方法中比较优秀的迭代方法——共轭梯度法。 寻找共轭方向 由于计算梯度简单，寻找共轭梯度的过程依附于梯度方向的计算。 推论二 第k步计算的梯度\bf{g}_k和前k-1步的梯度{\bf{g}_1,\bf{g}_1,... \bf{g}_k和前k-1步的梯度{\bf{g}_1,\bf{g}_1,... 那么对于两个不同的梯度\bf{g}_i, \bf{g}_j(i \ne j)，那么二者必分前后，因此各个梯度之间相互正交，即{\bf{G}} = \{ {{\bf{g}}_{1,}}{{\bf{g}}_
1.4K30编辑于 2022-08-05 - 来自专栏TensorFlow从0到N + Rust
TensorFlow从0到1 - 6 - 解锁梯度下降算法
B-C-F-2 梯度 v的变化量为∆v ≡ (∆v1, ∆v2, ..., ∆vn)T，则C的变化量可重写为梯度向量▽C与v的变化向量∆v的点乘： ? B-O-F-3 梯度下降 随机梯度下降算法 到此，梯度下降算法解决了如何寻求一般函数C(v1, v2, ..., vn)的最小值问题，再应用到机器学习之前，先别急，还差一小步。 ? B-O-F-4 样本梯度均值 首先，损失函数的梯度▽C，实践中一般是通过样本集中单个样本梯度值▽Cx的均值得到。 B-O-F-5 样本梯度均值的近似 这就是实践中采用的方法，被称为随机梯度下降法。那个小批量样本就是一个mini batch。 B-O-F-6 分量的增量
1.1K60发布于 2018-04-11 - 来自专栏AI机器学习与深度学习算法
机器学习入门 6-1 什么是梯度下降
本小节主要介绍解决多元线性回归的另一种方法梯度下降算法，梯度下降算法也是求解机器学习算法比较通用的方法。 01 梯度下降算法 梯度下降算法和前面介绍的kNN算法以及线性回归算法不同，因为梯度下降算法本身不是一个机器学习算法，因此即不是监督学习也不是非监督学习，不能解决机器学习中的回归问题和分类问题。 ? 梯度下降算法是一种基于搜索的最优化方法，梯度下降算法虽然也是人工智能领域非常重要的一个方法，他的作用就是优化一个目标函数： 如果最小化损失函数，相应的使用梯度下降法； 如果最大化效用函数，相应的使用梯度上升法 梯度下降法就是在机器学习领域最小化损失函数的一个最为常用的方法，在下一章还会举另外一个梯度上升法的例子，总体而言在机器学习领域熟练的掌握梯度算法来求一个目标函数的最优值，这是非常重要的一件事情。 通过上图也可以看出，迭代的数据点，在梯度的反方向上损失函数J上是逐渐的下降的，这也是为什么被称之为梯度下降法的原因。为什么称为梯度呢？如果在处理一维函数的时候，直接使用导数就可以了。
95100发布于 2019-11-13 - 来自专栏AI机器学习与深度学习算法
机器学习入门 6-2 模拟实现梯度下降法
本小节主要介绍模拟实现梯度下降算法。 一 梯度下降法的模拟 ? ? ? 使用上面通过导数等于0的方式终止梯度下降算法是不可取的。 我们定义epsilon为两次梯度下降损失函数值的最小差距，此时指定1e-8。 二 eta值对梯度下降法的影响 ? ? (theta_history)查看梯度下降法更新的次数，此时输出结果为46，由于起始点也在theta_history中，因此此时梯度下降法更新迭达了45次。 下面看看其他的eta值对梯度下降法的影响，为了方便，下面将梯度下降法进行封装： ? ? ? ? ? ?
67200发布于 2019-11-13 - 来自专栏趣Python
机器学习（6）手推线性回归模型（梯度下降法）
今天我们给出梯度下降（Gradient Descent）的推导示例，通过一个简单的例子让我们理解GD的流程和本质。 其实梯度下降是比较怂的解决方案，实在是在数学方法没辙了，那我就用物理的方法：按照一定的步长遍历参数空间，为了加快搜索，每次都沿下降最快的方向寻找，直到找到最佳的参数解；当然这也是一种直觉上的解决方案，就跟在游戏中搜索地图一样 这个方法的优缺点也是一目了然的： 相对于矩阵求逆，梯度下降理解简单，计算也简单； 其缺点是迭代较慢，有可能陷入局部最优。 梯度下降的公式推导和示例如下： ?
1.3K20发布于 2020-06-02 - 来自专栏从流域到海域
梯度消失和梯度爆炸
type=detail&id=2001702118 梯度消失和梯度爆炸 ? 因此W>IW>IW>I时，yhaty^{hat}yhat就以指数级别增长(因为L个w相乘)，对应梯度爆炸。 同理W<IW<IW<I时，yhaty^{hat}yhat就以指数级别降低(因为L个w相乘)，对应梯度消失。 如何解决梯度消失和梯度爆炸 基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.
96030发布于 2019-05-26 - 来自专栏深度学习与计算机视觉
梯度消失与梯度爆炸
简介 梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 ReLU激活函数，用Batch Normal，用残差结构解决梯度消失问题 正则化来限制梯度爆炸 梯度消失 梯度消失的原始是反向传播时的链式法则。 当模型的层数过多的时候，计算梯度的时候就会出现非常多的乘积项。 梯度爆炸 梯度爆炸也是类似的情况，只是系数>1，反复累计相乘之后，导致爆炸。 这样梯度消失的问题就缓解了。 正则化 L2正则化是在损失函数上施加的一个惩罚项，当损失过大的时候，让损失可以保持一个较小的值，避免了梯度爆炸，又有防过拟合的作用。
1.8K20编辑于 2021-12-07 - 来自专栏计算机视觉
PyTorch使用Tricks：梯度裁剪-防止梯度爆炸或梯度消失 ！！
前言 梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。 梯度裁剪有两种常见的方法： 按照梯度的绝对值进行裁剪，即如果梯度的绝对值超过了一个阈值，就将其设置为该阈值的符号乘以该阈值。 这样可以防止梯度爆炸或梯度消失的问题，提高模型的训练效果。 这样，就可以获得每个参数的梯度的L2范数。 4、什么情况下需要梯度裁剪 梯度裁剪主要用于解决神经网络训练中的梯度爆炸问题。 （2）不能解决梯度消失问题：梯度裁剪只能防止梯度爆炸，但不能解决梯度消失问题。在深度神经网络中，梯度消失也是一个常见的问题，它会导致网络的深层部分难以训练。
4.2K10编辑于 2024-03-19 - 来自专栏自然语言处理
机器学习（九）梯度下降算法1 梯度2 梯度下降法
1 梯度 1.1 定义 梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。 关于梯度的更多介绍请看：如何直观形象的理解方向导数与梯度以及它们之间的关系？ 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。 如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。 ? 红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数F值最小的点。 ? 代码实现 参考： 梯度下降算法以及其Python实现 梯度下降法
1.6K80发布于 2018-04-11 - 来自专栏学弱猹的精品小屋
凸优化（4）——次梯度案例，加速梯度法，随机梯度下降法，近端梯度法引入
这一节我们开始把我们之前与梯度法和次梯度法有关的，但是还没有说完的部分说完。还有篇幅的话，就再谈一谈随机梯度下降方法。 那么我们开始吧。 目录 梯度方法，次梯度方法的加速 波利亚重球法 加速梯度方法 Nesterov加速梯度法 动量方法 次梯度方法的案例分析 随机梯度下降法 大规模问题下的随机梯度下降方法使用技巧 近端梯度方法引入 Source 列出它的原因在于共轭梯度法也只使用了一阶信息，但是因为没有直接使用梯度，所以它不属于加速梯度方法。这里我们贴出《数值优化》第3和4节的链接，大家可以点进去了解共轭梯度法。 数值优化（3）——线搜索中的步长选取方法，线性共轭梯度法 数值优化（4）——非线性共轭梯度法，信赖域法 Nesterov加速梯度法 加速梯度法最有名的就是Nesterov加速梯度法，但必须要承认它的原理是非常难以理解的 然后才能利用次梯度方法的链式法则来得到这个结论。次梯度方法的链式法则和梯度的链式法则非常类似，也是针对复合函数求次梯度使用的。
2.9K10发布于 2021-08-09 - 来自专栏深度学习之tensorflow实战篇
梯度下降VS随机梯度下降区别
?
1.5K20发布于 2019-02-13 - 来自专栏AI机器学习与深度学习算法
机器学习入门 6-7 sklearn中的随机梯度下降法
本小节主要介绍改进上一小节代码，封装自己的随机梯度下降法并应用，之后应用sklearn实现随机梯度下降法。 一 封装自己的随机梯度法 在上一小节中，介绍了通过随机梯度下降法来寻找损失函数最小值的策略。 接下来将随机梯度法封装在我们自己的"LinearRegression"这个类中。下面的代码是参考上一小节在jupyter中的随机梯度下降法： ? ? ? 比如此时n_iters设置为5（在sklearn中实现SGD时候默认为5），也就是将整个样本遍历5遍，相当于随机梯度下降法一共迭代了n_iters * 样本数量这么多。 在jupyter调用我们自己封装的随机梯度下降法，首先是先在虚拟数据上验证算法正确性，然后应用真实的数据。 ? ? ? ? ? ? 二 sklearn实现随机梯度下降法 ? ?
1.2K20发布于 2019-11-13 - 来自专栏blog-技术博客
梯度下降
梯度下降算法 梯度 函数上某一点的梯度是 向量，就是函数变化增加最快的地方。具体来说，对于函数f(x,y)，在点(x0，y0)沿着梯度向量的方向 : (df/dx0,df/dy0)的转置. 梯度下降算法 损失函数: J(w) w的梯度将是损失函数上升最快的方向,最小化loss ,反向即可 J(w_old) ---->J(w_old- k * ▽w_old的梯度)---->J( w_new) 方法 : 主要区别是每一次更新样本参数使用的样本个数是不同的 批量梯度下降 使用全部数据进行参数更新 w = w-k * ▽J(w) for i in range ,最后梯度可为0 随机梯度下降 w = w - k * ▽ J(w;xi;yi) 使用一个样本更新模型,速度快 for i in range(nb_epochs): np.random.shuffle SGD Momentum 基于动量的算法 前几次的梯度会参与到本次梯度的计算 原来:w = w - learning_rate * dw 现在: v = alpha
97530发布于 2020-05-11 - 来自专栏AI机器学习与深度学习算法
机器学习入门 6-3 线性回归中的梯度下降法
本小节主要介绍在线性回归中使用梯度下降法。 一 线性回归中的梯度下降法 前几小节为了更好的介绍梯度下降法的过程，我们将损失函数定义成二次曲线的形式。在这一小节将梯度下降法真正的应用在线性回归中。 ? 对于多元变量进行求导，也就是梯度值，此时梯度就是损失函数J对θ向量中每一个参数都求偏导的结果，因此此时的梯度本身也是一个向量。 由于θ中是包含(n+1)个元素的向量，所以相应的梯度就是一个(n+1)维的向量。此时的梯度代表的方向和导数一样，对应的损失函数J增大的最快的方向。 通过上图可以看出，当我们有多个参数的时候，在每一点的位置向J取值更小的方向前进其实是有非常多的选择，但是此时梯度下降方式是损失函数J下降最快的方向，这也是每一次要求梯度，用梯度的反方向作为真正θ前进的方向的原因 对于最右边式子的每一项都是m项的求和，显然梯度的大小和样本数量有关，样本数量越大，求出来的梯度中，每一个元素相应的也就越大，这个其实是不合理的，求出来的梯度中每一个元素的值应该和m样本数量是无关的，为此将整个梯度值再除上一个
1.2K20发布于 2019-11-13 - 来自专栏全栈程序员必看
SGD随机梯度下降_随机梯度法
在一个mini batch上的loss BGD 最原始的梯度下降算法，为了计算original-loss上的梯度，需要使用训练集全部数据 SGD （近似）计算original-loss梯度时，只使用一个 而SGD算法，每次随机选择一个mini-batch去计算梯度，在minibatch-loss上的梯度显然是original-loss上的梯度的无偏估计，因此利用minibatch-loss上的梯度可以近似 从引入randomness的角度来看，SGD中计算的梯度是对original-loss梯度的近似，相当于在original-loss梯度的基础上加了randomness，因此即使当前走到了original-loss 另一个角度，SGD计算的不是original-loss的梯度，而是minibatch-loss的梯度。 而SGD每次走的方向是minibatch-loss的负梯度方向（或者理解成original-loss的负梯度+randomness），显然这个方向和original-loss的负梯度方向不同，也就不是original-loss
1.2K10编辑于 2022-09-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号