- 综合排序
- 最热优先
- 最新优先
- 来自专栏学弱猹的精品小屋
凸优化（4）——次梯度案例，加速梯度法，随机梯度下降法，近端梯度法引入
目录 梯度方法，次梯度方法的加速 波利亚重球法 加速梯度方法 Nesterov加速梯度法 动量方法 次梯度方法的案例分析 随机梯度下降法 大规模问题下的随机梯度下降方法使用技巧 近端梯度方法引入 Source 列出它的原因在于共轭梯度法也只使用了一阶信息，但是因为没有直接使用梯度，所以它不属于加速梯度方法。这里我们贴出《数值优化》第3和4节的链接，大家可以点进去了解共轭梯度法。 数值优化（3）——线搜索中的步长选取方法，线性共轭梯度法 数值优化（4）——非线性共轭梯度法，信赖域法 Nesterov加速梯度法 加速梯度法最有名的就是Nesterov加速梯度法，但必须要承认它的原理是非常难以理解的 在我录制的b站视频 https://www.bilibili.com/video/BV1ZK4y1b7Xt/ 中，有对次梯度方法的收敛性给出证明，大体上来说，如果函数 是一个凸函数，那么无论对于梯度是否有连续性的优化 Trick 4: 对于一些带约束的优化问题，提前终止是一个好的方法。 这个可能有点难理解，我们拿逻辑回归来举例子。考虑带罚项的逻辑回归问题 根据优化问题对偶性，这个和带罚项的问题的解是一致的。
2.9K10发布于 2021-08-09 - 来自专栏NowlNowl_AI
机器学习第4天：模型优化方法—梯度下降
梯度下降原理简述 介绍 在一个多元函数中，某点的梯度方向代表函数增加最快的方向，梯度下降的原理就是，找到损失函数下降最快的方向（与梯度方向相反），然后往这个方向走，最后达到损失函数的最小值，如下图，从高的红色点到达了低的蓝色点 ，梯度下降就是这样一个过程 我们可以得到一个参数更新公式，把参数设为a， 梯度设为grad，那么 为什么要有个n呢，因为梯度方向只能表示当前位置函数增加最快的方向，对于复杂的函数，当我们改变位置的时候， ，那么就可能困在这里了，无法达到全局最小值别急，当然，当损失函数是一个凸函数的时候，是没有局部最小值的，只有全局最小值，例如MSE就是一个凸函数 批量梯度下降 批量梯度下降指的是用整个向量经过矩阵运算来计算梯度 基本算法 与批量梯度下降不同的是，随机梯度下降每次随机选择一个实例来计算梯度，这样大大减小了运行时间，并且，随机梯度下降可以摆脱局部最小值的问题，因为随机挑选，那么即使有一部分在局部最小值中，还有一部分的方向选择可以将困住的部分解救出 存在的问题 训练集向量中的每一个实例对应于山上的某个点，随机梯度下降就是以某个点来抉择整体的下降趋势，可以预料到，下降的过程将不会那么顺利，但趋势是对的，可以看涨图来理解随机梯度下降与批量梯度下降的区别
40010编辑于 2024-01-18 - 来自专栏明天依旧可好的专栏
机器学习第4天：线性回归及梯度下降
三、梯度下降 在知道了如何看出线性函数拟合好不与好后，又生出了一个问题，我们如何调整函数的参数使拟合程度达到最佳呢？ 人工手动调试是肯定不行的太耗时间，而且结果不一定让我们满意。 这时就需要引入梯度下降的概念找出cost function函数的最小值。 梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快。 数学表达式： ? (4)当下降的高度小于某个定义的值，则停止下降。 ? 初始点不同，获得的最小值也不同，因此梯度下降求得的只是局部最小值。 代价随迭代次数的变化 在梯度下降的过程中代价会随迭代次数的增加而减少，但并不是迭代次数越多越好，当迭代次数达到一定值后，代价值几乎不会有变化。 ? 参考文章：机器学习入门：线性回归及梯度下降，我精减了他这篇博客的内容，并加入python的代码实现。
61620发布于 2019-01-22 - 来自专栏SuperFeng
机器学习系列 4：线性回归的梯度下降算法
之前我们已经学过了线性回归、代价函数和梯度下降，但是他们就像一个人的胳膊和腿，只有组合在一起才会成为一个「完整的人」，这个「完整的人」就是一个机器学习算法，让我们一起来学习第一个机器学习算法吧。 这个机器学习算法叫做线性回归的梯度下降算法（Gradient Descent For Linear Regression），还记得我们学过的线性回归函数、代价函数和梯度下降算法吗？ 如果忘记了，让我们一起来回忆一下，如下图（左为梯度下降，右为线性回归和代价函数）： ? 分别求出 j=0 和 j=1 时代价函数的偏导数， ? 带入梯度下降算法中，得到： ? 这个算法也叫做「Batch」梯度下降（「Batch」 Gradient Descent ），他的特点就是每次进行梯度下降都要使用整个数据集。 恭喜你，到目前为止你已经学会了第一个机器学习算法！
57210发布于 2019-09-26 - 来自专栏从流域到海域
梯度消失和梯度爆炸
type=detail&id=2001702118 梯度消失和梯度爆炸 ? 因此W>IW>IW>I时，yhaty^{hat}yhat就以指数级别增长(因为L个w相乘)，对应梯度爆炸。 同理W<IW<IW<I时，yhaty^{hat}yhat就以指数级别降低(因为L个w相乘)，对应梯度消失。 如何解决梯度消失和梯度爆炸 基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.
96030发布于 2019-05-26 - 来自专栏深度学习与计算机视觉
梯度消失与梯度爆炸
简介 梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 ReLU激活函数，用Batch Normal，用残差结构解决梯度消失问题 正则化来限制梯度爆炸 梯度消失 梯度消失的原始是反向传播时的链式法则。 当模型的层数过多的时候，计算梯度的时候就会出现非常多的乘积项。 梯度爆炸 梯度爆炸也是类似的情况，只是系数>1，反复累计相乘之后，导致爆炸。 这样梯度消失的问题就缓解了。 正则化 L2正则化是在损失函数上施加的一个惩罚项，当损失过大的时候，让损失可以保持一个较小的值，避免了梯度爆炸，又有防过拟合的作用。
1.8K20编辑于 2021-12-07 - 来自专栏学弱猹的精品小屋
数值优化（4）——非线性共轭梯度法，信赖域法
线性共轭梯度法的具体实现 我们在上一节介绍了线性共轭梯度法可以带来的几个性质，我们放在这里再给大家复习一下。 Theorem 1: 设线性共轭梯度法的第 步迭代的结果 不是解，那么有以下结论成立 (1) (2) (3) (4) 具体的来说，我们的算法构造可以写成这样的一个形式 ? 非线性共轭梯度法 事实上，非线性共轭梯度法相比较线性共轭梯度法而言，只是修改了几个标记而已。但是它们的成功也是有理论保障的，我们会慢慢看到。 同理也可以解释我们的第4步和第5步，在线性共轭梯度法中，它的目标是为了解 ，使得 尽可能的小。但是本质上，其实就是为了使得优化时梯度可以尽量的趋于0，这也符合我们对优化算法的要求。 小结 本节主要介绍了非线性共轭梯度法和信赖域法。非线性共轭梯度法的形式和线性共轭梯度法相同，但是我们为了保证它的有效性，也介绍了很多有趣的技巧。
1.5K20发布于 2021-08-09 - 来自专栏计算机视觉
PyTorch使用Tricks：梯度裁剪-防止梯度爆炸或梯度消失 ！！
前言 梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。 torch.optim.SGD(model.parameters(), lr=0.1) # 定义一个损失函数 criterion = nn.MSELoss() # 生成一些随机的输入和目标 x = torch.randn(4, 2) y = torch.randn(4, 1) # 前向传播 output = model(x) # 计算损失 loss = criterion(output, y) # 反向传播 loss.backward 这样，就可以获得每个参数的梯度的L2范数。 4、什么情况下需要梯度裁剪 梯度裁剪主要用于解决神经网络训练中的梯度爆炸问题。 （4）可能引入额外的计算开销：计算和应用梯度裁剪需要额外的计算资源，尤其是在参数量非常大的模型中。 参考：深度图学习与大模型LLM
4.2K10编辑于 2024-03-19 - 来自专栏自然语言处理
机器学习（九）梯度下降算法1 梯度2 梯度下降法
1 梯度 1.1 定义 梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。 关于梯度的更多介绍请看：如何直观形象的理解方向导数与梯度以及它们之间的关系？ 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。 如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。 ? 红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数F值最小的点。 ? 代码实现 参考： 梯度下降算法以及其Python实现 梯度下降法
1.6K80发布于 2018-04-11 - 来自专栏深度学习之tensorflow实战篇
梯度下降VS随机梯度下降区别
?
1.5K20发布于 2019-02-13 - 来自专栏blog-技术博客
梯度下降
梯度下降算法 梯度 函数上某一点的梯度是 向量，就是函数变化增加最快的地方。具体来说，对于函数f(x,y)，在点(x0，y0)沿着梯度向量的方向 : (df/dx0,df/dy0)的转置. 梯度下降算法 损失函数: J(w) w的梯度将是损失函数上升最快的方向,最小化loss ,反向即可 J(w_old) ---->J(w_old- k * ▽w_old的梯度)---->J( w_new) 方法 : 主要区别是每一次更新样本参数使用的样本个数是不同的 批量梯度下降 使用全部数据进行参数更新 w = w-k * ▽J(w) for i in range ,最后梯度可为0 随机梯度下降 w = w - k * ▽ J(w;xi;yi) 使用一个样本更新模型,速度快 for i in range(nb_epochs): np.random.shuffle SGD Momentum 基于动量的算法 前几次的梯度会参与到本次梯度的计算 原来:w = w - learning_rate * dw 现在: v = alpha
97430发布于 2020-05-11 - 来自专栏全栈程序员必看
SGD随机梯度下降_随机梯度法
在一个mini batch上的loss BGD 最原始的梯度下降算法，为了计算original-loss上的梯度，需要使用训练集全部数据 SGD （近似）计算original-loss梯度时，只使用一个 而SGD算法，每次随机选择一个mini-batch去计算梯度，在minibatch-loss上的梯度显然是original-loss上的梯度的无偏估计，因此利用minibatch-loss上的梯度可以近似 从引入randomness的角度来看，SGD中计算的梯度是对original-loss梯度的近似，相当于在original-loss梯度的基础上加了randomness，因此即使当前走到了original-loss 另一个角度，SGD计算的不是original-loss的梯度，而是minibatch-loss的梯度。 而SGD每次走的方向是minibatch-loss的负梯度方向（或者理解成original-loss的负梯度+randomness），显然这个方向和original-loss的负梯度方向不同，也就不是original-loss
1.2K10编辑于 2022-09-30 - 来自专栏杂七杂八
梯度下降
梯度下降（Gradient Descent）是在求解机器学习算法的模型参数（无约束优化问题）时，最常采用的方法之一 代价函数 提到梯度下降就不得不说一下代价函数。 代价函数 我们想要的结果是使这个函数最小，前面的1/2是为了在求导的时候方便计算 梯度下降 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(θ0 ,θ1 ) 的最小值。 梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快 ? 方法： 先确定向下一步的步伐大小，我们称为学习率Learning rate； 初始化参数的值 沿着负梯度方向去减小函数值并更新参数 当下降的高度小于某个定义的值或迭代次数超过一定限制，则停止下降； ? 梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值即可 ?
89950发布于 2018-04-27 - 来自专栏图像处理与模式识别研究所
梯度运算
IMREAD_UNCHANGED)#原始图像 kernel=np.ones((5,5,),np.uint8)#设置核kernel r=cv2.morphologyEx(o,cv2.MORPH_GRADIENT,kernel)#梯度运算 cv2.imshow("original",o) cv2.imshow("result",r) cv2.waitKey() cv2.destroyAllWindows() 算法：梯度运算是图像的膨胀图像减去腐蚀图像的操作 首先读取图像 进行腐蚀和膨胀操作 膨胀图像减去腐蚀图像，得到相减后的图像，获得梯度运算图像的结果 绘制前面两步生成的图片 对于膨胀图像A，腐蚀图像B： A-B={x|Bx⊆A} result=cv2.morphologyEx (img, cv2.MORPH_GRADIENT, kernel) img表示输入图像 cv2.MORPH_GRADIENT表示梯度运算 kernel表示梯度运算时所采用的结构类型 注意：此方法是基本梯度运算 ，基本梯度是膨胀图像减去腐蚀图像的差值；内部梯度是原图减去腐蚀图像的差值；外部梯度是膨胀图像减去原图的差值。
49210编辑于 2022-05-28 - 来自专栏计算机视觉理论及其实现
截断梯度
强非线性函数往往倾向于非常大或非常小幅度的梯度。这导致的困难是，当参数梯度非常大时，梯度下降的参数更新可以将参数抛出很远，进入目标函数较大的区域，到达当前解所做的努力变成了无用功。 一个简单的解决方案已被从业者使用多年：截断梯度(clipping the gradient)。此想法有不同实例。选择一种是在参数更新之前，逐元素地截断小批量参数梯度。 虽然参数更新与真实梯度具有相同的方向梯度，经过梯度范数截断，参数更新的向量范数现在变得有界。这种有界梯度能避免执行梯度爆炸时的有害一步。 如果爆炸非常严重，梯度数值上为Inf或Nan(无穷大或不是一个数字)，则可以采取大小为v的随机一步，通常会离开数值不稳定的状态。截断每小批量梯度范数不会改变单个小批量的梯度方向。 不像传统小批量梯度下降，其中真实梯度的方向是等于所有小批量梯度的平均。换句话说，传统的随机梯度使用梯度的无偏估计，而与真实梯度或小批量的梯度不再对齐，但是它仍是一个下降方向。
2.4K10编辑于 2022-09-03 - 来自专栏计算机视觉战队
梯度优化
如果你对梯度下降不熟悉，您可以看之前平台发表过的一篇分享。 ---- 梯度下降算法变种 存在三种梯度下降的变种，他们不同之处在于我们在计算目标函数梯度时所用数据量的多少。 批量梯度下降 普通的梯度下降，也称批量梯度下降，利用所有的训练数据计算目标函数的梯度。 ? 由于我们每进行一次参数更新需要计算整体训练数据的梯度，批量梯度下降会变得很慢并且一遇到内存吃不下数据就挂了。 值得注意的是先进的深度学习库提供对一些参数进行自动求导可以有效地计算梯度。如果你是自己来推梯度，梯度检查是一个不错的注意。本平台也推送过梯度求解过程。 不同于Momentum方法先计算当面的梯度（图4中蓝色小向量）后在更新过的累积梯度方向上进行一个大跨越（蓝色大向量），NAG先在上一个累积梯度方向进行跳跃（棕色向量），测量下梯度然后进行一个修正（绿色向量 图4. Nesterov更新 现在我们可以让我们的更新适应于损失函数所构造的斜面slope的同时加快SGD的速度。
98990发布于 2018-04-18 - 来自专栏全栈程序员必看
随机梯度下降优化算法_次梯度下降
the loss was 9.044034, best 8.959668 # in attempt 3 the loss was 9.278948, best 8.959668 # in attempt 4 'original loss: %f' % (loss_original, ) # 查看不同步长的效果 for step_size_log in [-10, -9, -8, -7, -6, -5,-4, 5.5 梯度下降法 现在我们可以计算损失函数的梯度，反复计算梯度然后执行参数更新的过程称为梯度下降法。 因此，在实践中，我们总是使用解析梯度，然后执行梯度检查，即将解析梯度与数值梯度进行比较。 我们引入了梯度下降算法，迭代地计算梯度，并在循环中执行参数更新。 斯坦福大学计算机视图课程，青星人工智能研究中心 翻译整理 1、数据驱动的图像分类方法 2、最近邻分类器 3、k – 最近邻分类器及使用验证集取得超参数 4、线性分类: SVM, Softmax 5、优化方法
94210编辑于 2022-09-30 - 来自专栏SIGAI学习与实践平台
理解梯度提升算法1-梯度提升算法
最速下降法 最速下降法是梯度下降法的变种。梯度下降法的原理在SIGAI之前的公众号文章“理解梯度下降法”中已经介绍。 ，如果下一个弱学习器h(x;a)的预测值指向该负梯度方向，根据梯度下降法的原理，加上这个弱学习器，即向前走一步之后损失函数值是下降的。 梯度提升算法可以看做是梯度下降法与加法模型的结合。 在日常生活中，经常会遇到类似的问题，比如说打高尔夫球。刚开始，你的球离球洞有500米远，指望一杆就打进洞那是不可能的 ? 步长ρm由直线搜索确定，即寻找使得函数值下降最快的梯度步长 ? 这个步长可以理解为我们每次打一杆时用的力的大小，而负梯度则是我们用力的方向。 将梯度提升框架用各种不同的损失函数，得到各种具体的梯度提升算法，解决分类和回归问题。如果弱学习器是决策树，则为梯度提升树。这些具体的算法将在下一篇文章中讲述。
2.2K40发布于 2018-12-28 - 来自专栏懂点编程的数据分析师
梯度下降法
前言 梯度下降法gradient descent是求解无约束最优化问题的一种最常用的方法，它是一种迭代算法，每一步需要求解目标函数的梯度向量。 问题抽象 ? 是 ? 的 值，直至收敛 梯度下降：负梯度方向是使函数值下降最快的方向，我们在迭代的每一步都以负梯度方向更新 ? 的值 收敛：给定一个精度 ? ，在迭代的每一轮根据梯度函数 ? 计算梯度 ? ， ? 时认为收敛 学习率：也叫做步长，表示在每一步迭代中沿着负梯度方向前进的距离 直观理解 以下图为例，开始时我们处于黑色圆点的初始值（记为 ? 的梯度。 接着我们求出第 ? 次的迭代值 ? : ? 其中 ? 是搜索方向，取负梯度方向 ? ， ? 是步长，需满足： ? 算法实现 输入：目标函数 ? ，梯度函数 ? 归一化：如果不归一化，会收敛得比较慢，典型的情况就是出现“之”字型的收敛路径 注意事项 当目标函数是凸函数时，梯度下降法是全局的最优解，一般情况下梯度下降法的解不一定是全局最优解 梯度下降法的收敛速度未必是最快的
78020发布于 2020-06-09 - 来自专栏caoqi95的记录日志
PyTorch 梯度校验
rtol=0.001, raise_exception=True, check_sparse_nnz=False, nondet_tol=0.0) 该函数应用小有限差分来校验相关 Tensor 的梯度 如果不是的话，梯度校验可能会失败。 , 32, 32), dtype=torch.double, requires_grad=True) test = gradcheck(hmt, inputss, eps=1e-6, atol=1e-4)
1.6K20发布于 2020-02-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号