- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大数据分析
【深度学习优化算法】10：Adam算法
本章我们已经学习了许多有效优化的技术。在本节讨论之前，我们先详细回顾一下这些技术： 在随机梯度下降中，我们学习了：随机梯度下降在解决优化问题时比梯度下降更有效。 不出预料，作为深度学习中使用的更强大和有效的优化算法之一，它非常受欢迎。但是它并非没有问题，尤其有时Adam算法可能由于方差控制不良而发散。 前者在实践中效果略好一些，因此与RMSProp算法有所区分。通常，我们选择 \epsilon = 10^{-6} ，这是为了在数值稳定性和逼真度之间取得良好的平衡。 p.grad.data.zero_() hyperparams['t'] += 1 data_iter, feature_dim = d2l.get_data_ch11(batch_size=10 init_adam_states(feature_dim), {'lr': 0.01, 't': 1}, data_iter, feature_dim); 小结 Adam算法将许多优化算法的功能结合到了相当强大的更新规则中
60810编辑于 2025-08-02 - 来自专栏深度学习
最值得关注的10大深度学习算法
公众号：尤而小屋编辑：Peter作者：Peter大家好，我是Peter~今天给大家分享一下10大经典的深度学习算法。 这个过程是神经网络中信息处理的基本单元，其中权重和偏置是可学习的参数，通过训练过程进行调整，以优化网络的性能。 下面介绍值得关注和学习的10个深度学习算法：多层感知机Multilayer Perceptrons (MLPs)径向基函数网络Radial Basis Function Networks (RBFNs) 这个过程通常是通过迭代优化算法（如梯度下降法）来实现的。总之，RBFN通过无监督学习确定隐藏层中心，然后通过线性回归和误差最小化来确定权重，从而构建出能够处理复杂非线性关系的神经网络模型。 10 深度信念网络Deep Belief Networks（DBNs）什么是DBNs深度信念网络是一种基于无监督学习的生成模型，具有多层的堆叠结构，由多层受限玻尔兹曼机（Restricted Boltzmann
1.1K11编辑于 2024-07-19 - 来自专栏labuladong的算法专栏
谁能想到，求最值的算法还能优化？
其实不然，其中的细节操作十分精妙，渐进时间复杂度肯定是 O(n) 无法再减少，但如果深究算法的执行速度，仍然有优化空间。 接下来，我们想办法优化这两个算法，使这两个算法只需要固定的1.5n次比较。 最大值和最小值 为啥一般的解法还能优化呢？肯定是因为没有充分利用信息，存在冗余计算。 对于这个问题，还有另一种优化方法，那就是分治算法。大致的思路是这样： 先将数组分成两半，分别找出这两半数组的最大值和最小值，然后max就是两个最大值中更大的那个，min就是两个最小值中更小的那个。 PS：其实这个分治算法可以再优化，比较次数可以进一步降到 n + log(n)，但是稍微有点麻烦，所以这里就不展开了。 首先，分治算法是一种比较常用的套路，一般都是把原问题一分为二，然后合并两个问题的答案。如果可以利用分治解决问题，复杂度一般可以优化，比如以上两个问题，分治法复杂度都是1.5n，比一般解法要好。
1.2K20发布于 2021-09-23 - 来自专栏分布式｜微服务｜性能优化｜并发编程｜源码分析
性能优化｜讲的最清楚的垃圾回收算法
结论：使用标记-清除算法，清理垃圾后会发现存活对象分布的位置比较零散，如果有有大对象需要分配的话，很难有连续的空间进行分配；缺点：效率低、空间碎片 复制算法 为了解决内存碎片问题，jvm大师们研究出了复制算法 ，复制算法的原理是将内存空间分为两块，当其中一块内存使用完之后，就会将存活对象复制到另外一块内存上，将之前的内存块直接清理掉，这样就不会产生内存碎片的问题了。 使用复制算法，内存前后对比 ? ? 结论：解决了内存碎片的问题，但是会导致内存空间缩减一半，适用于存活对象少的区域。 标记整理算法 标记整理算法的步骤和标记-清除是一样的，不过最后多加一步就是整理，用来整理存活对象造成的内存碎片，使用标记-整理后内存前后对比： ? ? 分代收集算法 分代收集算法主要就是将内存分为两个年代，一个是年轻代，一个是老年代，在年轻代中使用复制算法，因为年轻代存活的对象少，比较适合使用复制算法，老年代使用标记整理算法，因为老年代垃圾比较少，所以适用于标记整理算法
1.1K20发布于 2020-11-19 - 来自专栏AI研习社
10个梯度下降优化算法+备忘单
Fig.2：各类梯度下降优化算法、其发表年份和用到的核心思路。 Fig.3 自上而下展示了这些优化算法如何从最简单的纯梯度下降（SGD）演化成Adam的各类变种的。 ，这样我们可以以统一的“演化”视角来看这些优化算法 1. 随机梯度下降（Stochastic Gradient Descend） 最原始的随机梯度下降算法主要依据当前梯度∂L/∂w乘上一个系数学习率α来更新模型权重w的。 ? 2. 默认值（取自Keras）： α = 0.002 β₁ = 0.9 β₂ = 0.999 ε = 10⁻⁷ 10. 默认值（取自Keras）： α = 0.001 β₁ = 0.9 β₂ = 0.999 ε = 10⁻⁷ 直觉 我想和你们分享一些直观的见解，为什么梯度下降法优化器对梯度部分使用的是指数移动平均值（
1.5K40发布于 2019-07-22 - 来自专栏IT派
细数二十世纪最伟大的10大算法（Top10）
发明十大算法的其中几位算法大师 ? 生成一系列随机点，统计单位圆内的点数与总点数，（圆面积和正方形面积之比为PI:1，PI为圆周率），当随机点取得越多（但即使取10的9次方个随机点时，其结果也仅在前4位与圆周率吻合）时，其结果越接近于圆周率 五、1957 优化的Fortran编译器 [1957: John Backus leads a team at IBM in developing the Fortran optimizing compiler .] 1957年：约翰巴库斯领导开发的IBM的团队，创造了Fortran优化编译器。 这也是一个和线性代数有关的算法，学过线性代数的应该记得“矩阵的特征值”，计算特征值是矩阵计算的最核心内容之一，传统的求解方案涉及到高次方程求根，当问题规模大的时候十分困难。
3.2K30发布于 2018-07-30 - 来自专栏java一日一条
细数20世纪最伟大的10大算法
发明十大算法的其中几位算法大师 ? 当随机点取得越多（但即使取10的9次方个随机点时，其结果也仅在前4位与圆周率吻合）时，其结果越接近于圆周率。 五、1957 优化的Fortran编译器 [1957: John Backus leads a team at IBM in developing the Fortran optimizing compiler .] 1957年：约翰巴库斯领导开发的IBM的团队，创造了Fortran优化编译器。 这也是一个和线性代数有关的算法，学过线性代数的应该记得“矩阵的特征值”，计算特征值是矩阵计算的最核心内容之一，传统的求解方案涉及到高次方程求根，当问题规模大的时候十分困难。
82210发布于 2018-09-18 算法之冒泡排序：最直观的排序哲学与优化智慧
） 空间复杂度 O(1) 原地排序 算法特性： 稳定排序（相同元素保持原序） 实现简单但效率较低 优化后对部分有序数据敏感 四、应用场景 教学演示：理解排序算法的基础教学案例 swapped) break; } } 高手进阶： 并行化优化（OpenMP多线程分块处理） 混合排序策略（当数据基本有序时切换冒泡） 鸡尾酒排序实现（双向冒泡优化） // 鸡尾酒排序 true; } } start++; } } 六、哲学启示 冒泡排序教会我们： 耐心观察：通过多轮遍历逐步解决问题 简单力量：最基础的算法也能蕴含深刻思想 优化智慧：提前终止机制体现效率意识 当你能在面试白板上5分钟写出优化版冒泡排序时，说明掌握了算法工程师的基本功——在简单中见真章。 记住：算法优化的本质是在理解问题特征后做针对性改进，就像这个优化版本通过检测交换状态提前终止不必要的遍历。
26810编辑于 2025-10-14- 来自专栏WD学习记录
机器学习 学习笔记（10）序列最小最优化算法
序列最小最优化算法（Sequential minimal optimization） SMO算法要解如下凸二次规划的对偶问题： ? ? ? SMO算法是一种启发式算法，基本思路是：如果所有边的解都满足此优化问题的KKT条件，那么这个最优化问题的解就得到了，因为KKT条件就是该最优化问题的充分必要条件。 重要的是，这时子问题可以通过解析方法求解，这样可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的那个，另一个由约束条件自动确定。 变量的选择方法 SMO算法在每个子问题中选择两个变量优化，其中至少一个变量是违反KKT条件的。 第一个变量的选择，SMO称选择第一个变量的过程为外循环，外层循环在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第一个变量，具体地，检验训练样本点（ ?
1.9K20发布于 2018-09-03 - 来自专栏机器学习与生成对抗网络
10种优化算法汇总实现（从SGD到NadaMax）
导读 本文总结了SGD、MomentumNesterov、Momentum、AdaGrad...等十种优化算法，每一种算法的讲解都附有详细的公式过程以及代码实现。 无论是什么优化算法，最后都可以用一个简单的公式抽象： ? ? 是参数，而 ? 是参数的增量，而各种优化算法的主要区别在于对 ? 的计算不同，本文总结了下面十个优化算法的公式，以及简单的Python实现： SGD Momentum Nesterov Momentum AdaGrad RMSProp AdaDelta Adam AdaMax 在下面的优化算法中，只是作为一个传入的变量，其具体的计算是由其他模块负责，可以参考下面两个链接： Numpy实现神经网络框架(3)——线性层反向传播推导及实现 https://zhuanlan.zhihu.com self.alpha_i) return lr * (self.s * self.alpha + (1-self.alpha) * g) / self.r 参考资料： [1]: 《机器学习算法背后的理论与优化
7.5K30发布于 2020-12-18 - 来自专栏BestSDK
当今最火10大统计算法，你用过几个？
10 项统计技术，帮助数据科学家更加高效地处理大数据集的统计技术。 降维 降维算法将 p+1 个系数的问题简化为 M+1 个系数的问题，其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射（projection）。 随机森林算法（random forest algorithm）实际上和 bagging 算法很相似，同样是对训练集提取随机 bootstrap 样本。 而支持向量机是保留最大的间隔的分离超平面，因此本质上，它是一个约束最优化问题，其中支持向量机的间隔在约束下被最大化，从而完美地对数据进行分类（硬间隔分类器）。 10. 无监督学习 目前为止，我们都只讨论过监督学习技术，其中数据分类都是已知的，且提供给算法的经验都是实体和其分类的关系。当数据的分类是未知的时候，就需要使用另一种技术了。
1.5K100发布于 2018-03-02 - 来自专栏决策智能与机器学习
近端策略优化算法(PPO)：RL最经典的博弈对抗算法之一「AI核心算法」
作者：Abhishek Suran 转载请联系作者 提要：PPO强化学习算法解析及其TensorFlow 2.x实现过程（含代码） 在本文中，我们将尝试理解Open-AI的强化学习算法：近端策略优化算法 算法的步骤 游戏n步，存储状态，动作概率，奖励，完成变量。 基于上述经验，应用广义优势估计方法。我们将在编码部分看到这一点。 通过计算各自的损失，训练神经网络在某些时期的运行。 call(self, input_data): x = self.d1(input_data) a = self.a(x) return a 行动选择: 我们定义代理类并初始化优化器和学习率 接下来，我们对网络进行10轮训练。 经过培训，我们将对agent进行5集的测试环境测试。 如果测试片段的平均奖励大于你设定的目标奖励，那么就停止，否则就从第一步开始重复。 np.array(returns, dtype=np.float32) - values[:-1] adv = (adv - np.mean(adv)) / (np.std(adv) + 1e-10
8.2K20发布于 2020-12-14 - 来自专栏编程
当今最火10大统计算法，你用过几个？
10 项统计技术，帮助数据科学家更加高效地处理大数据集的统计技术。 该算法分为两个阶段：（1）拟合包含 k 个预测因子的所有模型，其中 k 为模型的最大长度；（2）使用交叉验证预测损失选择单个模型。 随机森林算法（random forest algorithm）实际上和 bagging 算法很相似，同样是对训练集提取随机 bootstrap 样本。 而支持向量机是保留最大的间隔的分离超平面，因此本质上，它是一个约束最优化问题，其中支持向量机的间隔在约束下被最大化，从而完美地对数据进行分类（硬间隔分类器）。 10. 无监督学习 目前为止，我们都只讨论过监督学习技术，其中数据分类都是已知的，且提供给算法的经验都是实体和其分类的关系。当数据的分类是未知的时候，就需要使用另一种技术了。
6.7K00发布于 2017-12-27 - 来自专栏凉风有信
打造自己最喜爱的 Windows10 —— 系统与软件配置优化篇
# 前言 安装系统易，配置优化烦，但我有的是时间，为我喜爱的系统献上祝福 最终效果图 ? ? # 配置优化步骤 # 安装驱动 快捷键 win + i 打开 设置 ，在 更新与安全 - Windows 更新 里检查更新，等待驱动安装完毕重启系统 # 改用 Microsoft 账号登录 快捷键 win # 微软拼音设置 快捷键 win + i 打开 设置，依次选择 时间和语言 - 语言 - 中文简体的 选项 - 微软拼音的 选项 # 安装腾讯管家 新版的 腾讯管家 比较简洁，逐渐成为我优化电脑的首选软件 使用 电脑管家 优化一波，再重启 首页体检 ? 闪电杀毒 ? 垃圾清理 ? 深度清理 ? 插件清理 ? 系统盘瘦身 ? 电脑加速 ? 启动项 ? # 安装 360 压缩软件 为什么 360 压缩 ？ 其它软件 Visio2016 Office2016 PotPlayer Chrome SwitchHosts Postman PanDownload Xshell6 ...... # 激活系统后的优化
1K20发布于 2020-10-23 - 来自专栏北京马哥教育
史上最简单！冒泡、选择排序的Python实现及算法优化详解
冒泡排序、简单选择排序、直接插入排序就是简单排序算法。 评价排序算法优劣的标准主要是两条：一是算法的运算量，这主要是通过记录的比较次数和移动次数来反应；另一个是执行算法所需要的附加存储单元的的多少。 2、简单排序之冒泡法Python实现及优化 原理图 2.1、基本实现 2.2、优化实现 思路：如果本轮有交互，就说明顺序不对；如果本轮无交换，说明是目标顺序，直接结束排序。 原理图 3.1、基本实现 3.2、优化实现——二元选择排序 思路：减少迭代次数，一轮确定2个数，即最大数和最小数。 3.3、等值情况优化 思路：二元选择排序的时候，每一轮可以知道最大值和最小值，如果某一轮最大最小值都一样了，说明剩下的数字都是相等的，直接结束排序。 还可能存在一些特殊情况可以优化，但是都属于特例的优化了，对整个算法的提升有限。
2.2K40发布于 2018-05-02 - 来自专栏文武兼修ing——机器学习与IC设计
神经网络优化算法总结优化算法框架优化算法参考
优化算法框架 优化算法的框架如下所示： $$ w_{t+1} = w_t - \eta_t \ \eta_t = \cfrac{\alpha}{\sqrt{V_t}} \cdot m_t $$ ,g_t) \ g_t = \nabla f(w_t) $$ 一阶动量和二阶动量均是历史梯度和当前梯度的函数 优化算法 固定学习率优化算法 学习率固定的优化算法均有一个特点：不考虑二阶动量（即$M _2(g_i) = I$） 随机梯度下降（SGD） 随机梯度下降时最简单的优化算法，有：$m_t = g_t,V_t = I$，带入公式有优化公式为：$\eta_t = \alpha \cdot g_t m_{t-1}) \ m_t = \beta \cdot m_{t-1} + (1-\beta)\cdot g_t \ \eta_t = \alpha \cdot m_t $$ 自适应学习率优化算法 自适应学习率的优化算法考虑二阶动量，一般来说，一阶动量决定优化方向，二阶动量自适应学习率 AdaGrad 二阶动量取梯度平方和：$V_t = \sum\limits^t_{i=1} g^2_i$，此时
1.3K80发布于 2018-04-27 - 来自专栏全栈程序员必看
【优化算法】粒子群优化算法简介
在此基础上，提出了一种基于元启发式（ metaheuristic）的粒子群优化算法来模拟鸟类觅食、鱼群移动等。这种算法能够模拟群体的行为，以便迭代地优化数值问题。 例如，它可以被分类为像蚁群算法、人工蜂群算法和细菌觅食这样的群体智能算法。 J. ）的强大算法，受鸟群中的规则启发，连续优化过程允许多目标和更多的变化。 ---- 粒子群优化算法伪代码： 其中： V i ( k + 1 ) V_i(k+1) Vi(k+1) 是下一个迭代速度； W W W 是惯性参数。 为了测试算法，Rastrigin函数将被用作误差函数，这是优化问题中最具挑战性的函数之一。在平面上有很多余弦振荡会引入无数的局部极小值，在这些极小值中，boid会卡住。
1.9K20编辑于 2022-11-10 - 来自专栏hotarugaliの技术分享
优化算法
简介 深度学习网络中参数更新的优化方法主要分为两种： 调整学习率，使得优化更稳定 梯度估计修正，优化训练速度 2. 常用优化方法汇总 image.png 3. L,⋯,∂Wt∂L) 其中， 是第 步的梯度， 是第 步的学习率（可以进行衰减，也可以不变）； 是学习率缩放函数，可以取 1 或者历史梯度的模的移动平均； 是优化后的参数更新方向
1.7K10编辑于 2022-03-10 - 来自专栏张俊红
最懒惰的算法—KNN
总第77篇 本篇介绍机器学习众多算法里面最基础也是最“懒惰”的算法——KNN（k-nearest neighbor）。你知道为什么是最懒的吗？ 该算法常用来解决分类问题，具体的算法原理就是先找到与待分类值A距离最近的K个值，然后判断这K个值中大部分都属于哪一类，那么待分类值A就属于哪一类。 02|算法三要素： 通过该算法的原理，我们可以把该算法分解为3部分,第一部分就是要决定K值，也就是要找他周围的几个值；第二部分是距离的计算，即找出距离他最近的K个值；第三部分是分类规则的确定，就是以哪种标准去评判他是哪一类 训练算法：KNN没有这一步，这也是为何被称为最懒算法的原因。 测试算法：将提供的数据利用交叉验证的方式进行算法的测试。 使用算法：将测试得到的准确率较高的算法直接应用到实际中。 5、应用算法： 通过修改inX的值，就可以直接得出该电影的类型。
2.5K50发布于 2018-04-11 - 来自专栏全栈程序员必看
gbdt算法_双色球最简单的算法
解释一下GBDT算法的过程 1.1 Boosting思想 1.2 GBDT原来是这么回事 3. GBDT的优点和局限性有哪些？ 3.1 优点 3.2 局限性 4. 解释一下GBDT算法的过程 GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。 它会在第一个弱分类器（或第一棵树中）随便用一个年龄比如20岁来拟合，然后发现误差有10岁； 接下来在第二棵树中，用6岁去拟合剩下的损失，发现差距还有4岁； 接着在第三棵树中用3岁拟合剩下的差距，发现差距只有 /ML-NLP/Machine Learning/3.2 GBDT 代码补充参考for——小白： Python科学计算——Numpy.genfromtxt pd.DataFrame()函数解析（最清晰的解释 ） iloc的用法（最简单） scikit-learn 梯度提升树(GBDT)调参小结（包含所有参数详细介绍） 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
2K20编辑于 2022-11-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号