- 综合排序
- 最热优先
- 最新优先
- 来自专栏caoqi95的记录日志
深度学习笔记4-模型优化算法
「这里记录的是吴恩达Andrew Ng在深度学习课程中提到过的优化算法，以及其他受推荐的优化算法。 以及日常感谢Andrew Ng的视频」 梯度下降的优化 1.指数加权平均 引入概念 在讲下面几个优化算法之前，先引出指数加权平均的概念。 最后在几次迭代后就能够快速的到达最小值附近（如上图红线所示） 3.RMSprop 还有一个算法叫做RMSprop，全称是root mean square prop，也是一种能加快梯度下降的算法。 同理计算sdb=βsdb+(1-β)db2； 最后更新权重w = w-αdw/sqrt(sdw+ε)和偏置b = b-αdb/sqrt(sdb+ε) (常用ε=10-8,加上ε是防止分母为零的情况出现) 4. Adam Adam基本上就是结合了Momentum和RMSprop这两种算法。
79320发布于 2019-03-27 - 来自专栏文武兼修ing——机器学习与IC设计
神经网络优化算法总结优化算法框架优化算法参考
优化算法框架 优化算法的框架如下所示： $$ w_{t+1} = w_t - \eta_t \ \eta_t = \cfrac{\alpha}{\sqrt{V_t}} \cdot m_t $$ ,g_t) \ g_t = \nabla f(w_t) $$ 一阶动量和二阶动量均是历史梯度和当前梯度的函数 优化算法 固定学习率优化算法 学习率固定的优化算法均有一个特点：不考虑二阶动量（即$M _2(g_i) = I$） 随机梯度下降（SGD） 随机梯度下降时最简单的优化算法，有：$m_t = g_t,V_t = I$，带入公式有优化公式为：$\eta_t = \alpha \cdot g_t m_{t-1}) \ m_t = \beta \cdot m_{t-1} + (1-\beta)\cdot g_t \ \eta_t = \alpha \cdot m_t $$ 自适应学习率优化算法 自适应学习率的优化算法考虑二阶动量，一般来说，一阶动量决定优化方向，二阶动量自适应学习率 AdaGrad 二阶动量取梯度平方和：$V_t = \sum\limits^t_{i=1} g^2_i$，此时
1.3K80发布于 2018-04-27 - 来自专栏全栈程序员必看
【优化算法】粒子群优化算法简介
鸟群智能建模 4. 代码实现 5. Conclusion 参考资料 ---- 1. 简介 人工智能是计算机科学的一个大领域，它模拟计算机中的智能行为。 在此基础上，提出了一种基于元启发式（ metaheuristic）的粒子群优化算法来模拟鸟类觅食、鱼群移动等。这种算法能够模拟群体的行为，以便迭代地优化数值问题。 ）的强大算法，受鸟群中的规则启发，连续优化过程允许多目标和更多的变化。 ---- 粒子群优化算法伪代码： 其中： V i ( k + 1 ) V_i(k+1) Vi(k+1) 是下一个迭代速度； W W W 是惯性参数。 为了测试算法，Rastrigin函数将被用作误差函数，这是优化问题中最具挑战性的函数之一。在平面上有很多余弦振荡会引入无数的局部极小值，在这些极小值中，boid会卡住。
1.9K20编辑于 2022-11-10 - 来自专栏hotarugaliの技术分享
优化算法
简介 深度学习网络中参数更新的优化方法主要分为两种： 调整学习率，使得优化更稳定 梯度估计修正，优化训练速度 2. 常用优化方法汇总 image.png 3. L,⋯,∂Wt∂L) 其中， 是第 步的梯度， 是第 步的学习率（可以进行衰减，也可以不变）； 是学习率缩放函数，可以取 1 或者历史梯度的模的移动平均； 是优化后的参数更新方向
1.7K10编辑于 2022-03-10 - 来自专栏null的专栏
优化算法——遗传算法
遗传算法的基本概念 遗传算法(Genetic Algorithm, GA)是由Holland提出来的，是受遗传学中的自然选择和遗传机制启发发展起来的一种优化算法，它的基本思想是模拟生物和人类进化的方法求解复杂的优化问题 基本定义 个体(individual)：在遗传学中表示的是基因编码，在优化问题中指的是每一个解。 适应值(fitness)：评价个体好坏的标准，在优化问题中指的是优化函数。 遗传算法的基本流程 遗传算法的过程中主要包括这样几个要素：1、参数的编码。2、初始群体的设定。3、适应度函数的设计。4、遗传操作设计。5、控制参数的设定。 基本遗传算法的具体过程如下： ? 遗传算法过程中的具体操作 参数的编码 遗传算法中的参数编码的方式主要有：1、二进制编码。2、Gray编码。3、实数编码。4、有序编码。 我在这里简单介绍了遗传算法，遗传算法是一个研究较多的算法，还有利用遗传算法求解组合优化问题，带约束的优化问题，还有一些遗传算法的理论知识，如模式定理，积木块假设，在这里就不一一列举了，希望我的博文对你的学习有帮助
4.4K61发布于 2018-03-20 - 来自专栏null的专栏
优化算法——遗传算法
遗传算法的基本概念 遗传算法(Genetic Algorithm, GA)是由Holland提出来的，是受遗传学中的自然选择和遗传机制启发发展起来的一种优化算法，它的基本思想是模拟生物和人类进化的方法求解复杂的优化问题 遗传算法的基本流程 遗传算法的过程中主要包括这样几个要素：1、参数的编码。2、初始群体的设定。3、适应度函数的设计。4、遗传操作设计。5、控制参数的设定。 基本遗传算法的具体过程如下： ? 遗传算法过程中的具体操作 参数的编码 遗传算法中的参数编码的方式主要有：1、二进制编码。2、Gray编码。3、实数编码。4、有序编码。 例如，对于如下的优化问题： maxf(x1,x2)=21.5+x1sin(4πx1)+x2sin(20πx2) max\; f\left ( x_1,x_2 \right )=21.5+x_1sin 我在这里简单介绍了遗传算法，遗传算法是一个研究较多的算法，还有利用遗传算法求解组合优化问题，带约束的优化问题，还有一些遗传算法的理论知识，如模式定理，积木块假设，在这里就不一一列举了，希望我的博文对你的学习有帮助
1.7K20发布于 2019-02-13 - 来自专栏从流域到海域
Adam优化算法
Adam优化算法 基本思想是把动量梯度下降和RMSprop放在一起使用。 Adam优化算法计算方法 动量梯度下降部分： vdw=β1vdw+(1−β1)dWv_{dw}=\beta_1 v_{dw}+(1-\beta_1)dWvdw=β1vdw+(1−β1)dW 这是Adam名称的由来，大家一般称之为：Adam Authorization Algorithm(Adam权威算法)。 默认参数值选取 α\alphaα 学习速率是你需要是调参的。 β2=0.999\beta_2=0.999β2=0.999 -> dw2dw^2dw2 -> (dw2)(dw^2)(dw2) RMSprop term. 0.999出自Adam paper，即该算法提出者
1.3K20发布于 2019-05-26 - 来自专栏WD学习记录
kmeans优化算法
k-means算法的优、缺点 1、优点： ①简单、高效、易于理解 ②聚类效果好 2、缺点： ①算法可能找到局部最优的聚类，而不是全局最优的聚类。使用改进的二分k-means算法。 优化方法 二分k-means算法：首先将整个数据集看成一个簇，然后进行一次k-means（k=2）算法将该簇一分为二，并计算每个簇的误差平方和，选择平方和最大的簇迭代上述过程再次一分为二，直至簇数达到用户指定的 算法进行细聚类。 k-means算法的k值自适应优化算法：首先给定一个较大的k值，进行一次k-means算法得到k个簇中心，然后计算每两个簇中心之间的距离，合并簇中心距离最近的两个簇，并将k值减1，迭代上述过程，直至簇类结果 参考： k-means算法、性能及优化
2.3K30发布于 2018-09-04 - 来自专栏河湾欢儿的专栏
4.页面优化
为什么要优化？ 优化的好处 1.提升网页响应速度 2.有利于搜索引擎搜索 3.对后期维护比较方便 怎么优化？ 1.减少请求 2.减少文件的大小 3.页面性能 4.可读性、维护性 1.图片合并 2.css文件合并 （多个css文件合并为一个、少量的行内样式、避免import的方式引入文件） 3.减少图片的大小 （选择合适的图片格式） 4.css值缩写 5.0px 中px省略 0% 0 0.5可以写成.5 6.选择器合并 7.link标签引入样式放到head标签中 8.js脚本建议放在底部，等页面加载完之后再处理 尽量用语义化的标签来编写，有利于seo 15.类型和id名，以内容语义来命名 16.避免hack 17.模块化（一系列相关的结构做成一个模块来处理） 18.必要的时候添加注释，可读性比较好 比如说代码优化 ，大家试着说一下怎么优化？
51220发布于 2018-09-06 - 来自专栏修也的进阶日记
算法手记4
解题代码: 本题解题代码如下: class Solution { public: int vis[101][101]={0};//标记这个位置是否被用过 int dx[4]={0,0,1 ,-1}; int dy[4]={1,-1,0,0}; bool exist(vector<string>& board, string word) { word.size()-1) return true; //进入这个位置就把这个位置锁住 vis[x][y] = 1; //如果递归的是中间字符,继续搜索4个方位有没有符合下一个的 ,如果有,继续递归搜 for(int i=0; i<4; i++) { int a = x+dx[i],b=y+dy[i]; 如果四个位置找完没有符合下一个字符的,那么释放本位置的锁,返回false vis[x][y]=0; return false; } }; 结语 说点啥好呢...牵扯二维的算法就有点难了
17310编辑于 2025-03-15 - 来自专栏技术杂记
Mysql 优化存储4
优化脚本 一般此过程会非常漫长，可以写一个脚本来后台运行，或简单的控制一下IO [hunter@opti-slave ~]$ cat opti.bash #! opti.bash >> /path/to/optimize.log 2>&1 & 通过监控 optimize.log 来判断执行完成状态 也可以通过查看监控，IOPS很能反映问题 ---- 恢复备份 优化完成后 ，立刻恢复备份 start slave; 通过对比前后数据文件大小，可以明显看到优化效果 一般少也能缩减5%的空间，平均在10%左右，我自己经历最明显效果的是减少了32%的空间，对于一个大库来说，能节省不少磁盘空间 ，并且对查询性能也有一定优化效果 ---- 命令汇总 pt-table-checksum --nocheck-replication-filters --nocheck-binlog-format --
41620编辑于 2022-03-21 - 来自专栏美小妮
智能优化算法
智能优化算法神经网络算法利用的是目标函数导数信息去迭代更新参数，选找目标函数最优值。智能优化算法是一种收索算法，也是通过迭代，筛选，选找目标函数最优值（极值）。 一般步骤为：给定一组初始解评价当前这组解的性能从当前这组解中选择一定数量的解作为迭代后的解的基础在对其操作，得到迭代后的解若这些解满足要求则停止，否则将这些迭代得到的解作为当前解重新操作智能优化算法包含有许多 ，比如粒子群优化算法（PSO）,飞蛾火焰算法（MFO）...等一.飞蛾火焰算法(MFO)算法核心思想：飞蛾以螺旋线运动方式不断靠近火焰，痛过对火焰的筛选，不断选出离目标函数极值最接近的位置。 用随机的位置与该鲸鱼位置做差，然后用该随机的位置和做差后的值继续做差，去更新鲸鱼位置三.樽海鞘群优化算法(SSA)算法核心思想：与MFO类似，初始化鱼群后，对其求自适应度，然后进行排序，记录最小位置（也就是最优位置 四.灰太狼优化器(GWO)算法核心思想：与前面几种都是类似初始化狼群（随机初始化）和初始化3只重要程度递减的狼（Alpha、Beta、Delta，求解极小值问题时候初始化为无穷大）判断狼群是否超出边界，
93320编辑于 2023-10-06 - 来自专栏云深之无迹
Python算法.4
Python算法.3 Python 算法.2 Python算法.1 colors=['black','white'] sizes=['S','M','L'] tshirts=[(color,size print("A:%2d B:%2d C:%2d" % (a, b, c), end='') i += 1 if i % 4 # 求阶乘 def fact(n): if n==1: return 1 return n*fact(n-1) fact(4) def fib(n): if n
37950发布于 2021-07-23 - 来自专栏Java 汇总
4.Mysql 优化
1.ORDER BY的优化 某些情况下，MySQL使用索引排序，尽量避免使用 filesort 即使ORDER BY与索引不完全匹配，也可以使用索引，只要索引的未使用部分和额外的 如果是这样，优化器可能不使用索引。如果SELECT*只选择索引列，则使用索引并避免排序。 * FROM t1 WHERE key_part1 = constantORDER BY key_part2; ---- 假设 key_part1不是索引或索引的一部分，在条件中作为常量条件存在，则优化器也会使用索引 为了获得文件排序操作的内存，从MySQL8.0.12开始，优化器会根据需要递增地分配内存缓冲区，直到达到sort_buffer_size系统变量指定的大小，而不是像MySQL8.0.12之前那样预先分配固定数量的
1K20发布于 2020-10-29 - 来自专栏null的专栏
优化算法——凸优化的概述
一、引言 在机器学习问题中，很多的算法归根到底就是在求解一个优化问题，然而我们的现实生活中也存在着很多的优化问题，例如道路上最优路径的选择，商品买卖中的最大利润的获取这些都是最优化的典型例子 ，前面也陆续地有一些具体的最优化的算法，如基本的梯度下降法，牛顿法以及启发式的优化算法(PSO,ABC等)。 三、三类优化问题 主要有三类优化问题： 无约束优化问题 含等式约束的优化问题 含不等式约束的优化问题 针对上述三类优化问题主要有三种不同的处理策略，对于无约束的优化问题，可直接对其求导 四、正则化 在“简单易学的机器学习算法——线性回归(1)”中，在处理局部加权线性回归时，我们碰到了如下的三种情况： ? ? ? ? ? ? 当 ? 时模型是欠拟合的，当 ? 时模型可能会出现过拟合。 正则化主要有两种： L1-Regularization，见“简单易学的机器学习算法——lasso” L2-Regularization，见“简单易学的机器学习算法——岭回归(Ridge Regression
1.5K70发布于 2019-02-13 - 来自专栏全栈程序员必看
粒子群优化算法matlab程序_多目标优化算法
粒子群优化算法概述 2. 粒子群优化算法求解 2.1 连续解空间问题 2.2 构成要素 2.3 算法过程描述 2.4 粒子速度更新公式 2.5 速度更新参数分析 3. 粒子群优化算法小结 4. MATLAB代码 1. 粒子群优化算法概述 粒子群优化算法是一种基于 种群寻优的启发式搜索算法。在1995年由Kennedy和Eberhart首先提出来的。 粒子群优化算法借鉴了这样的思想，每个粒子代表待求解问题搜索解空间中的一一个潜在解，它相当于一只飞行信息”包括粒子当前的 位置和速度两个状态量。 粒子群优化算法求解 粒子群优化算法一般适合解决连续解空间的问题，比如通过粒子群在解空间里进行搜索，找出极大值。 粒子群优化算法改进 随着粒子群算法的广泛使用，人们发现如果加入一个惯性权重的话，优化的效果更好。 引入了一个 w w w 参数，控制先前粒子速度对下一轮粒子速度的影响，以适应不同场景。
1.1K20编辑于 2022-11-10 - 来自专栏全栈程序员必看
神经网络的优化算法_梯度下降优化算法
最近回顾神经网络的知识，简单做一些整理，归档一下神经网络优化算法的知识。关于神经网络的优化，吴恩达的深度学习课程讲解得非常通俗易懂，有需要的可以去学习一下，本人只是对课程知识点做一个总结。 吴恩达的深度学习课程放在了网易云课堂上，链接如下（免费）： https://mooc.study.163.com/smartSpec/detail/1001319001.htm 神经网络最基本的优化算法是反向传播算法加上梯度下降法 Momentum算法 Momentum算法又叫做冲量算法，其迭代更新公式如下： \[\begin{cases} v=\beta v+(1-\beta)dw \\ w=w-\alpha v \end{cases 实验表明，相比于标准梯度下降算法，Momentum算法具有更快的收敛速度。为什么呢？看下面的图，蓝线是标准梯度下降法，可以看到收敛过程中产生了一些震荡。 Adam算法 Adam算法则是以上二者的结合。
1K20编辑于 2022-09-16 - 来自专栏null的专栏
优化算法——凸优化的概述
一、引言 在机器学习问题中，很多的算法归根到底就是在求解一个优化问题，然而我们的现实生活中也存在着很多的优化问题，例如道路上最优路径的选择，商品买卖中的最大利润的获取这些都是最优化的典型例子，前面也陆续地有一些具体的最优化的算法 ，如基本的梯度下降法，牛顿法以及启发式的优化算法(PSO,ABC等)。 三、三类优化问题 主要有三类优化问题： 无约束优化问题 含等式约束的优化问题 含不等式约束的优化问题 针对上述三类优化问题主要有三种不同的处理策略，对于无约束的优化问题，可直接对其求导 四、正则化 在“简单易学的机器学习算法——线性回归(1)”中，在处理局部加权线性回归时，我们碰到了如下的三种情况： ? ? ? ? ? ? 当 ? 时模型是欠拟合的，当 ? 时模型可能会出现过拟合。 正则化主要有两种： L1-Regularization，见“简单易学的机器学习算法——lasso” L2-Regularization，见“简单易学的机器学习算法——岭回归(Ridge Regression
2.8K100发布于 2018-03-19 - 来自专栏全栈程序员必看
a星算法详解_matlab优化算法
概述 基于上一篇文章提到的DFS算法和BFS算法 A星算法属于图这种数据结构的搜索算法，对比于树的遍历搜索，需要考虑到的问题是：同一个节点的重复访问，所以需要对于已经访问过的节点进行标记。 end_px && current.col == end_py i = 1; while(i<=size(prev,1)) if prev(i,3) == current.row && prev(i,4) 1)).g; close(closelen).h = open(f1(1)).h; open(f1(1)) = []; openlen = openlen -1; for i = 1:4 算法伪码： function AStar_Routing(Gragh(V,E),src,dst) create vertex List openList create vertex List closeList
77420编辑于 2022-11-10 - 来自专栏null的专栏
优化算法——粒子群算法(PSO)
一、粒子群算法的概述 粒子群算法(PSO)属于群智能算法的一种，是通过模拟鸟群捕食行为设计的。假设区域里就只有一块食物（即通常优化问题中所讲的最优解），鸟群的任务是找到这个食物源。 二、粒子群算法的流程 粒子群算法通过设计一种无质量的粒子来模拟鸟群中的鸟，粒子仅具有两个属性：速度 ? 和位置 ? ，速度代表移动的快慢，位置代表移动的方向。 粒子群算法的思想相对比较简单，主要分为：1、初始化粒子群；2、评价粒子，即计算适应值；3、寻找个体极值 ? ；4、寻找全局最优解 ? ；5、修改粒子的速度和位置。下面是程序的流程图： ? 4、终止条件 有两种终止条件可以选择，一是最大代数： ? ；二是相邻两代之间的偏差在一个指定的范围内即停止。我们在实验中选择第一种。 三、实验 我们选择的测试函数是：Griewank。
6.8K20发布于 2019-02-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号