- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习
9种神经网络优化算法详解
优化器的作用就在于此: 它决定了如何调整神经网络的权重和学习率以减少损失。优化算法通过不断优化损失函数，帮助模型尽可能地输出准确的结果。 9种优化器列举9种不同类型的优化器以及它们是如何精确地工作以最小化损失函数的。 ，它在传统的动量优化算法的基础上引入了“前瞻性”更新机制，从而提高了收敛速度并减少了震荡。 案例以下是一个基于Adaptive Gradient（AdaGrad）优化算法的Python代码示例，并附带了优化过程的可视化效果。 9：Adaptive Moment Estimation（Adam）在机器学习中，Adam（Adaptive Moment Estimation，自适应矩估计）作为一种高效的优化算法脱颖而出。
1.7K10编辑于 2025-02-07 - 来自专栏labuladong的算法专栏
谁能想到，求最值的算法还能优化？
其实不然，其中的细节操作十分精妙，渐进时间复杂度肯定是 O(n) 无法再减少，但如果深究算法的执行速度，仍然有优化空间。 接下来，我们想办法优化这两个算法，使这两个算法只需要固定的1.5n次比较。 最大值和最小值 为啥一般的解法还能优化呢？肯定是因为没有充分利用信息，存在冗余计算。 对于这个问题，还有另一种优化方法，那就是分治算法。大致的思路是这样： 先将数组分成两半，分别找出这两半数组的最大值和最小值，然后max就是两个最大值中更大的那个，min就是两个最小值中更小的那个。 PS：其实这个分治算法可以再优化，比较次数可以进一步降到 n + log(n)，但是稍微有点麻烦，所以这里就不展开了。 首先，分治算法是一种比较常用的套路，一般都是把原问题一分为二，然后合并两个问题的答案。如果可以利用分治解决问题，复杂度一般可以优化，比如以上两个问题，分治法复杂度都是1.5n，比一般解法要好。
1.2K20发布于 2021-09-23 - 来自专栏分布式｜微服务｜性能优化｜并发编程｜源码分析
性能优化｜讲的最清楚的垃圾回收算法
结论：使用标记-清除算法，清理垃圾后会发现存活对象分布的位置比较零散，如果有有大对象需要分配的话，很难有连续的空间进行分配；缺点：效率低、空间碎片 复制算法 为了解决内存碎片问题，jvm大师们研究出了复制算法 ，复制算法的原理是将内存空间分为两块，当其中一块内存使用完之后，就会将存活对象复制到另外一块内存上，将之前的内存块直接清理掉，这样就不会产生内存碎片的问题了。 使用复制算法，内存前后对比 ? ? 结论：解决了内存碎片的问题，但是会导致内存空间缩减一半，适用于存活对象少的区域。 标记整理算法 标记整理算法的步骤和标记-清除是一样的，不过最后多加一步就是整理，用来整理存活对象造成的内存碎片，使用标记-整理后内存前后对比： ? ? 分代收集算法 分代收集算法主要就是将内存分为两个年代，一个是年轻代，一个是老年代，在年轻代中使用复制算法，因为年轻代存活的对象少，比较适合使用复制算法，老年代使用标记整理算法，因为老年代垃圾比较少，所以适用于标记整理算法
1.1K20发布于 2020-11-19 - 来自专栏全栈程序员必看
《算法图解》-9动态规划 背包问题，行程最优化
本文属于《算法图解》系列。学习动态规划，这是一种解决棘手问题的方法，它将问题分成小问题，并先着手解决这些小问题。 就是动态规划算法。动态规划先解决子问题，再逐步解决大问题。 每个动态规划算法都从一个网格开始，背包问题的网格如下。 网格的各行为商品，各列为不同容量（1～4磅）的背包。 但使用贪婪算法可轻松地处理这种情况！首先，尽可能多地拿价值最高的商品；如果拿光了， 再尽可能多地拿价值次高的商品，以此类推。 2.6 旅游行程最优化 假设你要去伦敦度假，假期两天，但你想去游览的地方很多。你没法前往每个地方游览，因此你列个单子。 这也是一个背包问题！ 还有网上有优化算法，二维数组转一维数组，只为了求值优化，但是不能找到最优组合选择的元素。感兴趣的可以试验下。
1.6K41编辑于 2022-09-17 算法之冒泡排序：最直观的排序哲学与优化智慧
） 空间复杂度 O(1) 原地排序 算法特性： 稳定排序（相同元素保持原序） 实现简单但效率较低 优化后对部分有序数据敏感 四、应用场景 教学演示：理解排序算法的基础教学案例 swapped) break; } } 高手进阶： 并行化优化（OpenMP多线程分块处理） 混合排序策略（当数据基本有序时切换冒泡） 鸡尾酒排序实现（双向冒泡优化） // 鸡尾酒排序 true; } } start++; } } 六、哲学启示 冒泡排序教会我们： 耐心观察：通过多轮遍历逐步解决问题 简单力量：最基础的算法也能蕴含深刻思想 优化智慧：提前终止机制体现效率意识 当你能在面试白板上5分钟写出优化版冒泡排序时，说明掌握了算法工程师的基本功——在简单中见真章。 记住：算法优化的本质是在理解问题特征后做针对性改进，就像这个优化版本通过检测交换状态提前终止不必要的遍历。
26810编辑于 2025-10-14- 来自专栏决策智能与机器学习
近端策略优化算法(PPO)：RL最经典的博弈对抗算法之一「AI核心算法」
作者：Abhishek Suran 转载请联系作者 提要：PPO强化学习算法解析及其TensorFlow 2.x实现过程（含代码） 在本文中，我们将尝试理解Open-AI的强化学习算法：近端策略优化算法 算法的步骤 游戏n步，存储状态，动作概率，奖励，完成变量。 基于上述经验，应用广义优势估计方法。我们将在编码部分看到这一点。 通过计算各自的损失，训练神经网络在某些时期的运行。 call(self, input_data): x = self.d1(input_data) a = self.a(x) return a 行动选择: 我们定义代理类并初始化优化器和学习率
8.2K20发布于 2020-12-14 - 来自专栏北京马哥教育
史上最简单！冒泡、选择排序的Python实现及算法优化详解
冒泡排序、简单选择排序、直接插入排序就是简单排序算法。 评价排序算法优劣的标准主要是两条：一是算法的运算量，这主要是通过记录的比较次数和移动次数来反应；另一个是执行算法所需要的附加存储单元的的多少。 2、简单排序之冒泡法Python实现及优化 原理图 2.1、基本实现 2.2、优化实现 思路：如果本轮有交互，就说明顺序不对；如果本轮无交换，说明是目标顺序，直接结束排序。 原理图 3.1、基本实现 3.2、优化实现——二元选择排序 思路：减少迭代次数，一轮确定2个数，即最大数和最小数。 3.3、等值情况优化 思路：二元选择排序的时候，每一轮可以知道最大值和最小值，如果某一轮最大最小值都一样了，说明剩下的数字都是相等的，直接结束排序。 还可能存在一些特殊情况可以优化，但是都属于特例的优化了，对整个算法的提升有限。
2.2K40发布于 2018-05-02 - 来自专栏文武兼修ing——机器学习与IC设计
神经网络优化算法总结优化算法框架优化算法参考
优化算法框架 优化算法的框架如下所示： $$ w_{t+1} = w_t - \eta_t \ \eta_t = \cfrac{\alpha}{\sqrt{V_t}} \cdot m_t $$ ,g_t) \ g_t = \nabla f(w_t) $$ 一阶动量和二阶动量均是历史梯度和当前梯度的函数 优化算法 固定学习率优化算法 学习率固定的优化算法均有一个特点：不考虑二阶动量（即$M _2(g_i) = I$） 随机梯度下降（SGD） 随机梯度下降时最简单的优化算法，有：$m_t = g_t,V_t = I$，带入公式有优化公式为：$\eta_t = \alpha \cdot g_t m_{t-1}) \ m_t = \beta \cdot m_{t-1} + (1-\beta)\cdot g_t \ \eta_t = \alpha \cdot m_t $$ 自适应学习率优化算法 自适应学习率的优化算法考虑二阶动量，一般来说，一阶动量决定优化方向，二阶动量自适应学习率 AdaGrad 二阶动量取梯度平方和：$V_t = \sum\limits^t_{i=1} g^2_i$，此时
1.3K80发布于 2018-04-27 - 来自专栏全栈程序员必看
【优化算法】粒子群优化算法简介
在此基础上，提出了一种基于元启发式（ metaheuristic）的粒子群优化算法来模拟鸟类觅食、鱼群移动等。这种算法能够模拟群体的行为，以便迭代地优化数值问题。 例如，它可以被分类为像蚁群算法、人工蜂群算法和细菌觅食这样的群体智能算法。 J. ）的强大算法，受鸟群中的规则启发，连续优化过程允许多目标和更多的变化。 ---- 粒子群优化算法伪代码： 其中： V i ( k + 1 ) V_i(k+1) Vi(k+1) 是下一个迭代速度； W W W 是惯性参数。 为了测试算法，Rastrigin函数将被用作误差函数，这是优化问题中最具挑战性的函数之一。在平面上有很多余弦振荡会引入无数的局部极小值，在这些极小值中，boid会卡住。
1.9K20编辑于 2022-11-10 9个SQL优化技巧
大多数的接口性能问题，很多情况下都是SQL问题，在工作中，我们也会定期对慢SQL进行优化，以提高接口性能。这里总结一下常见的优化方向和策略。 过度索引：当表中存在过多的索引时，可能会导致数据库优化器在选择使用哪个索引时变得困难。这可能会导致查询性能下降，因为优化器可能选择了不是最优的索引。 为了优化这个查询，我们可以考虑以下几种方法： 索引优化： 确保在 customer_id 字段上创建索引，以加速 GROUP BY 和 WHERE 子句的执行。 条件优化： 使用WHERE条件在分组前，就把多余的数据过滤掉了，这样分组时效率就会更高一些。而不是在分组后使用having过滤数据。 深分页limit优化深分页通常指的是在处理大量数据时，用户需要浏览远离首页的页面，例如第100页、第1000页等。
1.3K10编辑于 2024-05-21- 来自专栏hotarugaliの技术分享
优化算法
简介 深度学习网络中参数更新的优化方法主要分为两种： 调整学习率，使得优化更稳定 梯度估计修正，优化训练速度 2. 常用优化方法汇总 image.png 3. L,⋯,∂Wt∂L) 其中， 是第 步的梯度， 是第 步的学习率（可以进行衰减，也可以不变）； 是学习率缩放函数，可以取 1 或者历史梯度的模的移动平均； 是优化后的参数更新方向
1.7K10编辑于 2022-03-10 - 来自专栏张俊红
最懒惰的算法—KNN
总第77篇 本篇介绍机器学习众多算法里面最基础也是最“懒惰”的算法——KNN（k-nearest neighbor）。你知道为什么是最懒的吗？ 该算法常用来解决分类问题，具体的算法原理就是先找到与待分类值A距离最近的K个值，然后判断这K个值中大部分都属于哪一类，那么待分类值A就属于哪一类。 02|算法三要素： 通过该算法的原理，我们可以把该算法分解为3部分,第一部分就是要决定K值，也就是要找他周围的几个值；第二部分是距离的计算，即找出距离他最近的K个值；第三部分是分类规则的确定，就是以哪种标准去评判他是哪一类 训练算法：KNN没有这一步，这也是为何被称为最懒算法的原因。 测试算法：将提供的数据利用交叉验证的方式进行算法的测试。 使用算法：将测试得到的准确率较高的算法直接应用到实际中。 5、应用算法： 通过修改inX的值，就可以直接得出该电影的类型。
2.5K50发布于 2018-04-11 - 来自专栏大数据和云计算技术
算法基础9：散列表
算法是基础，小蓝同学准备些总结一系列算法分享给大家，这是第9篇《散列表》，非常赞！希望对大家有帮助，大家会喜欢！ 前面系列文章： 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想 算法基础：优先队列 二分查找 二叉树查找 平衡查找树概述 平衡树之红黑树 散列表是我们比较简单的一种查找算法，是用这种建议方法的扩展并能够处理更加复杂的类型的键 使用散列表的查找算法分为两步 第一步用散列函数将被查找的键转化为数组的一个索引。理想情况下，不同的键都可以变为不同的索引，但有时有特殊情况，这就涉及到我们的第二步处理碰撞冲突的过程。 一、散列函数键值转换 散列算法有很多种实现，在java中没中类型都需要相应的散列函数，例如;在正整数 最常用的是除留余数法（k%M）。 三、应用 散列表的应用是使用最广泛的算法之一 信息安全领域： Hash算法 可用作加密算法。
86120发布于 2018-07-26 - 来自专栏全栈程序员必看
gbdt算法_双色球最简单的算法
解释一下GBDT算法的过程 1.1 Boosting思想 1.2 GBDT原来是这么回事 3. GBDT的优点和局限性有哪些？ 3.1 优点 3.2 局限性 4. 解释一下GBDT算法的过程 GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。 /ML-NLP/Machine Learning/3.2 GBDT 代码补充参考for——小白： Python科学计算——Numpy.genfromtxt pd.DataFrame()函数解析（最清晰的解释 ） iloc的用法（最简单） scikit-learn 梯度提升树(GBDT)调参小结（包含所有参数详细介绍） 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
2K20编辑于 2022-11-07 - 来自专栏顶级程序员
GitHub 上 9 月份最火的开源项目
今天我们将继续介绍 GitHub 上 9 月份最受欢迎的 11 个开源项目，在这些项目中，你有在用或用过哪些呢？ 任何基于梯度的机器学习算法都能够受益于 TensorFlow 的自动分 化（auto-differentiation）。 Node 为创建 http 服务器作了优化，所以你在网上看到的大部分示例和库都是集中在 web 上(http 框架、模板库等）。 9 构建 iOS 和 Android 应用的框架 matcha https://github.com/gomatcha/matcha Star 2377 Matcha 是一款在基于 Go 构建 iOS
1.6K40发布于 2018-04-26 - 来自专栏DotNet NB && CloudNative
.NET 9 的 LINQ 优化详解
在 .NET 9 中，微软为 LINQ（Language Integrated Query）引入了三个新的扩展方法，增强了数据查询的灵活性和表达力。 这是对 GroupBy(...).Select(g => new { g.Key, Aggregate = g.Aggregate(...) }) 的优化，性能更高且代码更简洁。 91533 • Index: https://github.com/dotnet/runtime/issues/95563 • 博客文章： • Three new LINQ methods in .NET 9 Three new LINQ methods in .NET 9 • Unlocking New Possibilities: Top LINQ Methods Introduced in .NET 9
26610编辑于 2025-07-26 - 来自专栏乐行僧的博客
9-选择排序算法
注意点： 不稳定的排序算法 代码： #include <stdio.h> typedef int bool; #define true 1 #define false 0 void swap(int swap(&a[minIndex], &a[i]); } } } int main() { int a[] = {3, 1, 2, 4, 7, 0, 5, 8, 6, 9}
14840编辑于 2022-02-25 - 来自专栏算法工程师之路
每日算法题：Day 9
作者：TeddyZhang，公众号：算法工程师之路 Day 9, Python知识点走起~ 1 编程题 【剑指Offer】树的子结构 输入两棵二叉树A，B，判断B是不是A的子结构。 struct TreeNode *right; 6 TreeNode(int x) : 7 val(x), left(NULL), right(NULL) { 8 } 9} 二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7 5 思路： 这个使用递归的思路就很简单，一般二叉树用递归的方法很多，比如二叉树的遍历也可以使用递归的方法。 struct TreeNode *right; 6 TreeNode(int x) : 7 val(x), left(NULL), right(NULL) { 8 } 9}
45720发布于 2019-08-13 - 来自专栏null的专栏
优化算法——遗传算法
遗传算法的基本概念 遗传算法(Genetic Algorithm, GA)是由Holland提出来的，是受遗传学中的自然选择和遗传机制启发发展起来的一种优化算法，它的基本思想是模拟生物和人类进化的方法求解复杂的优化问题 基本定义 个体(individual)：在遗传学中表示的是基因编码，在优化问题中指的是每一个解。 适应值(fitness)：评价个体好坏的标准，在优化问题中指的是优化函数。 二进制编码 二进制编码是最原始的编码方式，遗传算法最初是在二进制编码的方式下进行运算的。二进制编码也是遗传算法中使用最为直接的运算编码方式。二进制编码是指利用00和11对问题的解向量进行编码。 适应度函数的计算 适应度函数的目的是评价个体的好坏，如上面的优化问题中，即为最终的优化目标函数。 我在这里简单介绍了遗传算法，遗传算法是一个研究较多的算法，还有利用遗传算法求解组合优化问题，带约束的优化问题，还有一些遗传算法的理论知识，如模式定理，积木块假设，在这里就不一一列举了，希望我的博文对你的学习有帮助
4.4K61发布于 2018-03-20 - 来自专栏null的专栏
优化算法——遗传算法
遗传算法的基本概念 遗传算法(Genetic Algorithm, GA)是由Holland提出来的，是受遗传学中的自然选择和遗传机制启发发展起来的一种优化算法，它的基本思想是模拟生物和人类进化的方法求解复杂的优化问题 基本定义 个体(individual)：在遗传学中表示的是基因编码，在优化问题中指的是每一个解。 适应值(fitness)：评价个体好坏的标准，在优化问题中指的是优化函数。 二进制编码 二进制编码是最原始的编码方式，遗传算法最初是在二进制编码的方式下进行运算的。二进制编码也是遗传算法中使用最为直接的运算编码方式。二进制编码是指利用00和11对问题的解向量进行编码。 ( 1-a_2 \right )x_2,\cdots ,a_ny_n+\left ( 1-a_n \right )x_n \right ) 变异(mutation) 变异操作的目的是使得基因突变，在优化算法中 我在这里简单介绍了遗传算法，遗传算法是一个研究较多的算法，还有利用遗传算法求解组合优化问题，带约束的优化问题，还有一些遗传算法的理论知识，如模式定理，积木块假设，在这里就不一一列举了，希望我的博文对你的学习有帮助
1.7K20发布于 2019-02-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号