- 综合排序
- 最热优先
- 最新优先
- 来自专栏帮你学MatLab
MATLAB强化学习 PG 算法
采用 policy gradient 学习方法训练agent，并行训练的参数也需要调整 %% 读取环境 ccc env = rlPredefinedEnv("CartPole-Discrete"); obsInfo 'ScoreAveragingWindowLength',100); plot(env) %% 并行学习设置 trainOpts.UseParallel = true; trainOpts.ParallelizationOptions.Mode
1.6K10发布于 2019-11-24 - 来自专栏Python编程和深度学习
强化学习（三）算法概述
强化学习（三）算法概述 前面的文章我们已经介绍过强化学习的强化学习（一）入门介绍和强化学习（二）重要概念，这篇文章介绍强化学习的算法概述。 强化学习主要由环境Environment、智能体Agent、状态State、动作Action、奖励Reward等构成，整个场景可以描述为一个马尔可夫决策过程（Markov DecisionProcess 1、是否需要理解环境： 强化学习可以分为基于模型Model-Based和不基于模型Model-Free的强化学习算法，Model-Free 就是不需要理解环境，直接行动根据环境的反馈进行之后的行动；Model-Based 3、单步更新还是回合更新： 强化学习中的蒙特卡洛算法Monte-carlo是一种回合更新方法，在游戏开始之后需要等到回合结束才能基于整个回合对行为策略进行更新；而时序差分算法Temporal-difference 4、在线学习还是离线学习： 强化学习中的On-policy方法是一种在线学习方法，需要本人在场，并且边行动游戏边学习；而Off-policy方法是一种离线学习方法，既可以利用过往的经验进行学习，也可以选择看别人玩
68810发布于 2020-10-29 - 来自专栏强化学习专栏
【强化学习】基础在线算法：Sarsa算法
本篇文章是博主强化学习（RL）领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。 文章分类在强化学习专栏： 【强化学习】- 【单智能体强化学习】（3）---《基础在线算法：Sarsa算法》 1.Sarsa算法简介 Sarsa算法是一种强化学习（Reinforcement 它是一种基于策略的学习算法，用于解决马尔可夫决策过程（Markov Decision Process, MDP）中的问题。 [Python] Sarsa算法实现 项目代码我已经放入GitCode里面，可以通过下面链接跳转： 【强化学习】---Sarsa算法 后续相关单智能体强化学习算法也会不断在【强化学习】项目里更新， 8.总结 Sarsa算法是强化学习领域的基石之一，其优点在于： 简单易实现； 能适应动态环境； 对探索行为有天然支持。 但在实际应用中，Sarsa的收敛速度较慢，需要良好的超参数调整。
1K10编辑于 2024-12-18 - 来自专栏Python进阶之路
了解强化学习算法 PPO
介绍： PPO 算法，即 Proximal Policy Optimization（近端策略优化），是一种强化学习算法。它的主要目的是改进策略梯度方法，使得训练过程更加稳定高效。 历史背景： PPO 算法是在深度强化学习领域逐渐发展起来的。 这两部分共同协作，指导策略网络和价值网络的学习过程。 当前应用： PPO 算法因其稳定性和高效性，在多个领域得到了应用。它被广泛用于游戏 AI、机器人控制、自动驾驶等场景。 挑战与争议： 尽管 PPO 算法相对稳定和高效，但仍然存在一些挑战和争议。例如，它对超参数的选择相对敏感，且在高维动作空间的问题上表现可能不如某些特定算法。 在社会影响层面，强化学习算法普遍面临着道德和责任的问题，特别是当它们被应用于具有潜在风险的领域，如医疗健康和自动驾驶汽车时。 未来趋势： PPO 算法的未来可能朝着提升通用性、效率和鲁棒性的方向发展。
1.8K00编辑于 2024-05-25 - 来自专栏帮你学MatLab
MATLAB强化学习 DQN 算法
强化学习 DQN 算法将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的 Q 值, 这样不需要在表格中记录 Q 值, 而是直接使用神经网络生成 Q 值.也可以只输入状态值, 输出所有的动作值 'StopTrainingValue',480); plot(env) %% 并行学习设置 trainOpts.UseParallel = true; trainOpts.ParallelizationOptions.Mode
4.8K20发布于 2019-11-18 - 来自专栏磐创AI技术团队的专栏
文末开奖 | 深度强化学习专栏（七）：深度强化学习算法
作者 | 小猴锅 编辑 | 奇予纪 出品 | 磐创AI团队出品 【磐创AI导读】：本篇文章是深度强化学习专栏的第三篇，讲了第四节无模型的强化学习方法，希望对大家有所帮助。 引言 专栏知识结构 从AlphaGo看深度强化学习 2. 强化学习基础知识 强化学习问题 马尔科夫决策过程 最优价值函数和贝尔曼方程 3. 有模型的强化学习方法 价值迭代 策略迭代 4. 实战强化学习算法 Q-learning 算法 Monte Carlo Policy Gradient 算法 Actor Critic 算法 6. 专栏小结 6 深度强化学习算法： 传统的强化学习算法适用于动作空间和状态空间都较小的情况，然而实际的任务中往往都是有着很大的动作空间和状态空间，对于这种情况，传统的强化学习算法难以处理。 而深度学习算法擅于处理高维的数据，两者结合之后的深度强化学习算法在很多任务中取得了非常不错的效果。本章我们主要介绍几个较为典型的深度强化学习算法。
1.1K20发布于 2019-11-15 - 来自专栏网络技术联盟站
什么是强化学习？强化学习有哪些框架、算法、应用？
与其他的机器学习算法相比，强化学习最大的特点在于其能够处理连续的、实时的、具有不确定性的环境，因此在许多实际的应用场景中具有很高的实用价值。 强化学习的算法在强化学习中，有许多不同的算法可以用来实现智能体的学习过程。其中，最常用的算法包括基于值函数的算法和基于策略的算法。下面简要介绍几种常见的强化学习算法。 Q-learningQ-learning是一种基于值函数的强化学习算法，其核心思想是通过学习一个状态-行动值函数 $Q(s,a)$ 来指导智能体的决策过程。 SarsaSarsa是另一种基于值函数的强化学习算法，其核心思想是通过学习一个状态-行动值函数 $Q(s,a)$ 来指导智能体的决策过程。 例如，在AlphaGo和AlphaZero算法中，就采用了基于强化学习的方法来训练模型。这些算法能够在围棋、象棋、国际象棋等复杂的游戏中取得非常高的胜率，甚至超过了人类棋手的水平。
2.9K00编辑于 2023-05-14 - 来自专栏数据结构和算法
使用Python实现强化学习算法
当谈论强化学习时，我们在讨论一种机器学习方法，其目标是教会智能体（agent）在与环境的交互中学习最优的行为策略，以最大化累积奖励。 在本文中，我们将介绍强化学习的基本概念，并使用 Python 和 OpenAI 的 Gym 库来实现一个简单的强化学习算法：Q-learning。 1. 什么是强化学习？ 强化学习是一种机器学习范式，其中智能体通过与环境的交互学习最佳行为策略。它与监督学习不同，因为它不依赖于标记的数据，而是通过试错和奖励来学习。 Q-learning 算法简介 Q-learning 是一种基于值的强化学习算法，用于学习行动价值函数（Action-Value Function），即 Q 函数。 总结 在本文中，我们介绍了强化学习的基本概念和 Q-learning 算法，并使用 Python 和 OpenAI Gym 库实现了一个简单的 Q-learning 算法来解决 CartPole 问题。
48410编辑于 2024-04-27 - 来自专栏AI前沿技术
强化学习｜策略梯度算法介绍
策略梯度 PG（Policy Gradient）是强化学习中直接优化策略的最基础方法，是后续所有策略梯度类算法的 “源头”。 可以使用学习率为 的梯度上升方法优化参数 ，使其获得更高的回报。 1.2，策略算法的基本流程 结合以上公式推导过程，策略算法的基本流程为： • 初始化策略参数 θ； • 采样 N 条轨迹 （由演员通过策略函数与环境交互生成）； • 计算每条轨迹的累积奖励 ； • 用蒙特卡洛估计近似梯度 强化学习训练中，有时回报总是正值，即公式 (10) 中的 总为正回报，在这种情况下，使得策略总是提升在对应状态下采取对应行动 的概率。 作为直接策略优化的 “源头”，PG 的核心思想贯穿于各类高级策略算法，其对 “梯度估计精度” 和 “训练稳定性” 的追求，也成为后续算法改进的核心方向，如 PPO 的剪辑梯度、TRPO 的信任域约束等，
62710编辑于 2026-01-18 - 来自专栏深度学习|机器学习|歌声合成|语音合成
强化学习：Q-Learning算法
文章目录 强化学习 Q-Learning算法 1. 问题及原因 2. Estimator原理与思想 （1）单估计器方法（Single Estimator） （2）双估计器方法（Double Estimator） 强化学习 论文发表在国际顶级期刊《Science》上 ，2016.3，透过自我对弈数以万计盘进行练习强化，AlphaGo在一场五番棋比赛中4:1击败顶尖职业棋手李世石。 DeepMind 如约公布了他们最新版AlphaGo论文(Nature)，介绍了迄今最强最新的版本AlphaGo Zero，使用纯强化学习，将价值网络和策略网络整合为一个架构，3天训练后就以100比0击败了上一版本的
43810发布于 2021-01-14 - 来自专栏强化学习系列
强化学习系列（二）--算法概念
上文我们已经理解强化学习的基础概念以及其目标是找到一个策略 最大化未来累计奖励。同时介绍了几种常用的寻找最优策略的方法。 在强化学习中还会将这些方法分类为model-based和model-free，value-based和policy-based，其中value-base的学习方法又分为off-policy和on-policy 所以一个强化学习算法是model-based还是model-free主要是看是否有对状态转移概率以及奖励建模，如果有就是model-based，否则就是model-free。 policy-based基于策略的强化方法 基于策略的强化学习，是直接对策略进行建模，用一个神经网络表示策略，对动作输出一个输出概率来表示。 最后借鉴一张图片总结下强化学习算法框架 参考： https://blog.csdn.net/wordyang1/article/details/76557608 https://www.cnblogs.com
2.4K130编辑于 2024-05-09 - 来自专栏强化学习专栏
【强化学习】策略梯度---REINFORCE算法
文章分类在强化学习专栏： 【强化学习】- 【单智能体强化学习】（6）---《策略梯度---REINFORCE算法》 1.REINFORCE 算法 REINFORCE 是一种策略梯度算法 ，用于强化学习中的策略优化问题。 3.算法的关键思想 3.1 梯度公式 利用强化学习的公式推导出梯度： 是从状态 出发后的累计奖励，作为对策略 好坏的衡量。 [Python]REINFORCE算法实现 项目代码我已经放入GitCode里面，可以通过下面链接跳转： 【强化学习】--- REINFORCE算法 后续相关单智能体强化学习算法也会不断在【强化学习 尽管存在一些缺陷（如方差较高），但它为后续的改进算法（如 Actor-Critic、PPO）奠定了理论基础。 更多强化学习文章，请前往：【强化学习（RL）】专栏
1.9K10编辑于 2024-12-18 - 来自专栏机器学习算法原理与实践
强化学习(十七) 基于模型的强化学习与Dyna算法框架
RL)，以及基于模型的强化学习算法框架Dyna。 下面这张图描述了基于模型的强化学习的思路： ? 2. 基于模型的强化学习算法训练流程 这里我们看看基于模型的强化学习算法训练流程，其流程和我们监督学习算法是非常类似的。 至此我们的强化学习求解过程和传统的监督学习算法没有太多区别了，可以使用传统的监督学习算法来求解这两个模型。 Dyna算法框架 Dyna算法框架并不是一个具体的强化学习算法，而是一类算法框架的总称。 基于模型的强化学习总结 基于模型的强化学习一般不单独使用，而是和不基于模型的强化学习结合起来，因此使用Dyna算法框架是常用的做法。
3K20发布于 2019-03-04 学习率调度算法的强化学习优化
在系列研究中，某中心的研究人员通过理论分析和实践验证，开发了可学习的学习率调度程序。 研究分为三个阶段：首先在非负矩阵分解（NMF）中推导稳定性保证并开发可学习调度器；随后将该方法扩展至深度神经网络；最终将成果提炼为高效的启发式调度算法GreedyLR。 这一分析揭示了学习率在收敛速度与发散风险间的权衡关系，并表明通过适当初始化和裁剪学习率可确保稳定性。基于此，研究采用强化学习（RL）框架自动生成学习率调度策略。 为降低计算成本，研究进一步提炼出轻量级调度算法GreedyLR，该算法在PRML会议上获最佳演示奖。GreedyLR根据验证损失的变化动态调整学习率：损失改善时增加学习率，恶化时降低。 与超梯度下降等每参数调整方法相比，GreedyLR仅使用全局学习率，显著降低计算复杂度。这些成果证明了学习型优化器在加速深度学习方面的潜力。
28210编辑于 2025-09-12- 来自专栏常用算法专栏
强化学习算法解析：策略梯度算法（Policy Gradient）
一、引言 强化学习是机器学习领域的重要分支，它研究如何让智能体（Agent）在环境中通过与环境的交互来学习最优的行为策略。 五、策略梯度算法的应用场景 策略梯度算法在强化学习领域有着广泛的应用，以下是一些典型的应用场景： （一）机器人控制 在机器人控制任务中，策略梯度算法可以用于学习机器人的运动控制策略。 （二）结合深度学习与强化学习 深度学习的强大函数近似能力与强化学习的决策能力相结合，将为策略梯度算法带来更大的提升。未来可能会出现更多基于深度神经网络的策略梯度算法，能够处理更复杂的任务和环境。 八、结论 策略梯度算法是强化学习中一类重要的方法，它通过直接优化策略来提高智能体的性能。 未来，随着强化学习领域的不断发展，策略梯度算法将在理论和应用方面取得更大的突破，为解决复杂的决策问题提供更强大的工具。
2.6K20编辑于 2025-04-16 - 来自专栏AI人工智能与大数据
AutoML算法分析（一）：基于强化学习的算法
AutoML是什么 顾名思义，Auto：Automated自动的；ML：Machine Learning机器学习. 因此AutoML即为自动机器学习。 对于机器学习的算法工程师而言，设计适用于特定问题的机器学习模型是一个非常复杂的任务。需要选择相应的神经网络架构、训练过程、正则化方法、超参等，这些都对最终的性能有很大的影响，需要不断尝试。 因此深度学习算法工程师也被称为调（炼）参（丹）工程师。 AutoML的目标就是使用自动化的、数据驱动方式来做出上述的决策。用户只要提供数据，通过足够的算力，系统自动决定最佳的方案。 各个领域专家不再需要苦恼于学习各种机器学习算法。 在AutoML领域，当前引起学者关注最多的便是NAS（Neural Architecture Search，网络结构搜索），对应的算法也非常之多。 ： 基于RL(Reinforcement Learning, 强化学习)的离散搜索算法：NASNet，ENAS 基于进化算法（如遗传算法，蚁群算法，模拟退火等）的离散搜索算法：CARS，EENA 基于梯度下降的连续可微搜索算法
1.6K30发布于 2020-04-08 - 来自专栏强化学习专栏
【强化学习】基础离线算法：Q-Learning算法
本篇文章是博主强化学习（RL）领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。 文章分类在强化学习专栏： 【强化学习】- 【单智能体强化学习】（2）---《基础算法：Q-Learning算法 一、概述 在强化学习中，Q-Learning 是一种基于值函数的强化学习算法 [Python] Q-learning实现 下面代码实现了一个经典的 Q-learning 强化学习算法，用于训练一个智能体在一个简单的环境中寻找从左到右的目标（状态从0到19，目标在19 项目代码我已经放入GitCode里面，可以通过下面链接跳转： 【强化学习】--- Q-Learning算法 后续相关单智能体强化学习算法也会不断在【强化学习】项目里更新，如果该项目对你有所帮助，请帮我点一个星星 Q-Learning 的收敛性和无模型特点使其成为强化学习中经典且简单的算法之一，尽管在大规模或连续空间中存在一定的挑战。 更多强化学习文章，请前往：【强化学习（RL）】专栏
3.7K12编辑于 2024-12-18 - 来自专栏强化学习专栏
【强化学习】可证明安全强化学习（Provably Safe RL）算法详细介绍
文章分类在强化学习专栏： 【强化学习】---《可证明安全强化学习（Provably Safe RL）算法详细介绍》 可证明安全强化学习（Provably Safe RL）算法详细介绍 传统的强化学习（RL）算法只关心“怎么获得最大奖励”，不关心“会不会出事”。 但在现实系统中（自动驾驶、机器人、电网控制），一次“出事”就可能导致灾难性后果。 约束强化学习（2015年-2020年） 约束强化学习（Constrained RL）成为了安全强化学习研究的一个重要方向。研究者开始关注如何通过优化算法将安全约束整合到强化学习的框架中。 最常见的方法是通过“安全约束”来修正奖励函数，使智能体在学习过程中避免做出有害的行为。这个方向的研究引入了形式化的安全性指标，如概率安全性、期望风险等，并基于这些指标对强化学习算法进行了改进。 一些典型的安全强化学习算法包括： 基于风险的强化学习（Risk-sensitive RL）：通过在奖励函数中加入风险度量（例如方差、尾部风险等），来限制智能体的风险暴露。
63610编辑于 2025-11-10 - 来自专栏CreateAMind
coach强化学习17个算法图解
http://coach.nervanasys.com 数据流 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
65920发布于 2018-07-20 - 来自专栏人工智能
机器学习之——强化学习中的Bandit算法
强化学习是机器学习领域的一个重要分支，已在围棋（AlphaGo）、德州扑克、视频游戏等领域取得很大成功，并且已经被一些学者认为是实现强人工智能的关键。 基于强化学习玩FlappyBird游戏 Bandit算法是强化学习中的基础模型，理解这一模型，对理解强化学习的关键概念有很大的帮助。
2.8K70发布于 2018-01-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号