- 综合排序
- 最热优先
- 最新优先
- 来自专栏强化学习
SARSA
什么是SARSA SARSA算法的全称是State Action Reward State Action，属于时序差分学习算法的一种，其综合了动态规划算法和蒙特卡洛算法，比仅仅使用蒙特卡洛方法速度要快很多 值函数更新公式的引入：多次试验的平均 SARSA的核心思想在于增量计算。 right)+\gamma \hat{Q}^{\pi}\left(s^{\prime}, a^{\prime}\right)-\hat{Q}^{\pi}(s, a)\right) $$ 这种策略学习算法称为$SARSA 通用$SARSA$算法框架：一个示例 一个通用的$SARSA$算法如下所示： 该算法的大致逻辑如下： 运行完一个回合即一个内循环。 运行直到$Q$函数收敛即为一个外循环。
68600发布于 2019-02-27 - 来自专栏计算机视觉漫谈
Sarsa（Lambda）-Sarsa升级版
目录 前言 单步更新和回合更新 算法公式 探险者上天堂实战 小结 前言 今天介绍的Sarsa(lambda)算法是Sarsa的改进版，二者的主要区别在于： Sarsa是每次获取到reward之后只更新到 reward的前一步，而Sarsa(lambda)就是更新获取到reward的前lambda步。 lambda是在[0,1]之间取值，如果lambda = 0,Sarsa(lambda)就是Sarsa，只更新获取到reward前一步。 从上图我们可以看出，Sarsa(lambda)比起Sarsa，多了一个矩阵E(eligibility trace)，它是用来保存获得reward在路径中所精力的每一步，因此在每次更新的时候也会对之前所经历的步进行更新 (Lambda)由于多了一张eligibility_trace表，那么就有了探索轨迹的记录，且此轨迹对Q_table的value产生了正面或者负面的影响，所以Sarsa（lambda）比Sarsa能更快地学会完成任务
52810发布于 2020-05-31 - 来自专栏一直在跳坑然后爬坑
白话强化学习之Sarsa与Sarsa-lambda
Sarsa Sarsa的学习过程和Q-Learning基本一样，不同的地方是Q-Learning在走下一步的时候是先看下一步应该走哪，但是最后不一定走，而Sarsa是决定完要走的步之后一定会去走那一步 ，由于跟Q-Learning很像，就不详细介绍了，主要介绍Sarsa-lambda的学习步骤。 Sarsa学习步骤 Sarsa lambda Sarsa lambda在Sarsa的基础上增加了一个概念，就是它到终点后会再反过来看一下自己曾经走过的路。 ? Sarsa-lambda学习步骤 整体来说还是Sarsa的框框，只是增加一个指标，只是这样可以使学习效率变高，能更快速的达到目的Q表。 E表的用法就是在Sarsa的基础上，每次更新的时候加上这个E表里对应位置的值就可以了。这就是传说中的Sarsa lambda了，是不是没这么吓人。
84510发布于 2018-12-28 - 来自专栏帮你学MatLab
matlab强化学习Sarsa与Sarsa(lambda)对比
Sarsa lambda 适用于回合型环境，要等到回合结束, 才开始对本回合所经历的所有步都添加更新, 但是这所有的步都是和宝藏有关系的, 都是为了得到宝藏需要学习的步, 所以每一步在下回合被选中的几率又高了一些 当 lambda 取0, 就变成了 Sarsa 的单步更新 % 强化学习Sarsa lambda ccc % rng('default'); env=two_dimensional_env(4,4,0.01
1.1K10发布于 2019-09-16 - 来自专栏杨熹的专栏
SARSA 算法简介
State–action–reward–state–action (SARSA) 也是强化学习中很重要的一个算法，它的算法和公式和 Q learning 很像，但是 Q-Learning 是Off-Policy 的，SARSA 是On-Policy 的，具体区别我们可以在下一节中再看。 下面是SARSA的算法流程： ? 可以看出主要区别在Q 值的更新公式： ?
1.6K30发布于 2020-03-20 - 来自专栏杨熹的专栏
SARSA 的 python 实现
else: action = np.argmax(Q[state, :]) # 大于eps就利用环境信息，挑选action return action 下面是 SARSA
81620发布于 2020-04-10 - 来自专栏深度学习|机器学习|歌声合成|语音合成
强化学习-sarsa教程
Sarsa 与Q-Learning的不同：离线学习， Sarsa：是实施每个估计，在线学习，’保命为主‘ Sarsa 算法更新 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RxaXDWEF 1591684153065)(evernotecid://5E01CD28-C4C7-40C9-89D8-B40DB3CF5295/appyinxiangcom/11012738/ENResource/p13380)] sarsa 思维决策 Sarsa(lambda) 回合更新 lambda 是脚步衰减值, 都是一个在 0 和 1 之间的数，认为距离奖励越远的步骤越不重要。 如果 lambda = 0, Sarsa-lambda 就是 Sarsa, 只更新获取到 reward 前经历的最后一步. 如果 lambda = 1, Sarsa-lambda 更新的是 获取到 reward 前所有经历的步. DQN Deep Q Network 简称为 DQN.
35420发布于 2021-01-14 - 来自专栏计算机视觉漫谈
强化学习之Sarsa
Sarsa决策部分和Q-Learning一模一样，都是采用Q表的方式进行决策，所以我们会在Q表中挑选values比较大的动作实施在环境中来换取奖赏。但是Sarsa的更新是不一样的 更新准则 ? 上图就是Sarsa更新的公式。 greedy值越小，Sarsa越不坚决（选择Q表中大的那个），而是会根据np.random.choice随机选择一个方向，同时也正是因Sarsa多了一项探索的概率，所以才是的Sarsa容易偏离终点，从视觉上看 Sarsa有时显得很纠结。 正因如此，Sarsa其实在某些程度上显得他很勇敢，因为Sarsa比Q-Learning更有探索精神，也正是这份精神使得Sarsa对终点的渴望不那么果决，饥渴成都要看greedy的脸色，更具多面性。
83830发布于 2020-05-31 - 来自专栏Piper蛋窝
《强化学习》中的时序差分控制：Sarsa、Q-learning、期望Sarsa、双Q学习 etc.
Sarsa 是同轨策略下的时序差分控制，； Q-learning 是离轨策略下的时序差分控制； 期望 Sarsa 的表现比上述二者表现都更好（ van Hasselt, 2011），并且被称为“广义 Q 6.6: Cliff Walking）对比了基于-贪心方法的 Sarsa 与 Q-learning 的控制效果； 接着，在介绍 期望 Sarsa 时也使用了 Cliff Walking 实例对其效果进行展示 Sarsa 基于同轨策略，其更新公式为： 可以看出与之前“时序差分预测”中的价值预测公式很像。 如果 是终止状态，那么则定义为0。这个公式用到了元组，因此该算法命名为 Sarsa 。 期望 Sarsa 虽然计算上更为复杂，但它消除了 Sarsa 中因为随机选择 而带来的方差。 并且，对于 cliff walking 中的情况，期望 Sarsa 将保持 Sarsa 相对于 Q-learning 的“能学到迂回策略”的优势。
1.3K10发布于 2020-11-19 - 来自专栏数据结构和算法
探索Python中的强化学习：SARSA
SARSA是强化学习中的一种基于状态-行动-奖励-下一个状态的方法，用于学习最优策略。本文将详细介绍SARSA的原理、实现方式以及如何在Python中应用。 什么是SARSA？ SARSA的原理 SARSA的更新公式如下： 使用Python实现SARSA 接下来，我们将使用Python来实现一个简单的SARSA算法，并应用于一个简单的环境中。 算法： # 定义SARSA算法 def sarsa(maze, Q_table, alpha=0.1, gamma=0.9, episodes=100): for episode in range 算法来训练智能体，并获得学习后的Q-table： Q_table = sarsa(maze, Q_table) print("学习后的Q-table：", Q_table) 结论 SARSA是一种经典的强化学习方法 通过本文的介绍，相信读者已经对SARSA这一强化学习方法有了更深入的理解，并且能够在Python中使用代码实现和应用SARSA算法。祝大家学习进步！
40710编辑于 2024-04-01 - 来自专栏强化学习专栏
【强化学习】基础在线算法：Sarsa算法
文章分类在强化学习专栏： 【强化学习】- 【单智能体强化学习】（3）---《基础在线算法：Sarsa算法》 1.Sarsa算法简介 Sarsa算法是一种强化学习（Reinforcement Sarsa算法的名字来源于它的更新过程涉及的五元组： , , , , 3.Sarsa算法的更新公式 Sarsa使用以下公式来更新 值： ：当前状态 ：当前动作 ：当前奖励 ：下一状态 5.Sarsa与Q-Learning的区别 特点 Sarsa Q-Learning 策略类型 基于当前策略（on-policy） 基于最优策略（off-policy） 更新公式中的动作 使用实际选择的动作 [Python] Sarsa算法实现 项目代码我已经放入GitCode里面，可以通过下面链接跳转： 【强化学习】---Sarsa算法 后续相关单智能体强化学习算法也会不断在【强化学习】项目里更新， 8.总结 Sarsa算法是强化学习领域的基石之一，其优点在于： 简单易实现； 能适应动态环境； 对探索行为有天然支持。 但在实际应用中，Sarsa的收敛速度较慢，需要良好的超参数调整。
1K10编辑于 2024-12-18 - 来自专栏机器学习算法原理与实践
强化学习（六）时序差分在线控制算法SARSA
SARSA算法的引入 SARSA算法是一种使用时序差分求解强化学习控制问题的方法，回顾下此时我们的控制问题可以表示为：给定强化学习的5个要素：状态集$S$, 动作集$A$, 即时奖励$R$，衰减因子 SARSA算法概述 作为SARSA算法的名字本身来说，它实际上是由S,A,R,S,A几个字母组成的。 除了收获$G_t$的表达式不同，SARSA算法和蒙特卡罗在线控制算法基本类似。 3. SARSA算法流程 下面我们总结下SARSA算法的流程。 SARSA算法实例：Windy GridWorld 下面我们用一个著名的实例Windy GridWorld来研究SARSA算法。 $SARSA(\lambda)$。
1.7K20发布于 2018-10-10 - 来自专栏算法channel
第十二篇：强化学习SARSA算法
你好，我是郭震（zhenguo) 今天强化学习第二十篇：强化学习SARSA算法 1 历史 SARSA（「State-Action-Reward-State-Action」）算法是一种经典的强化学习算法 Barto在他们的著作《Reinforcement Learning: An Introduction》中首次提出SARSA。 2 算法思想 SARSA算法是基于动态规划和迭代更新的思想。 SARSA算法的核心思想是基于当前状态和动作的Q值来更新值函数，而不仅仅是基于最大Q值。 这种「即时更新」的策略使得SARSA算法对于探索和利用之间的平衡具有一定的灵活性。 SARSA算法在强化学习领域得到了广泛应用，尤其在控制问题和机器学习任务中表现出色。 那么，之前学习的Q-learning算法和本节的SARSA算法有哪些区别呢？我们下一篇介绍。
1.3K40编辑于 2023-08-08 - 来自专栏从流域到海域
从SARSA算法到Q-learning with ϵ-greedy Exploration算法
本文链接：https://blog.csdn.net/Solo95/article/details/102762027 这篇博文是Model-Free Control的一部分，事实上SARSA和Q-learning SARSA Algorithm SARSA代表state，action，reward，next state，action taken in next state，算法在每次采样到该五元组时更新，所以得名 SARSA。 回顾SARSA Q(st,at)←Q(st,at)+α((rt+γQ(st+1,at+1))−Q(st,at))Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha((r_t+
70220发布于 2019-10-28 - 来自专栏帮你学MatLab
matlab强化学习Q-Learning与Sarsa对比
Q-Learning强化学习FrozenLake求解 观察下一步选取哪一个动作会带来最大的奖励, 但是在真正要做决定时, 却不一定会选取到那个带来最大奖励的动作, Q-learning 只是估计了一下接下来的动作值 Sarsa 实践派, 说到做到, 在这一步估算的动作也是接下来要做的动作， 在环境中每走一步, 更新一次自己的行为准则 % 强化学习Sarsa ccc rng('default'); env=two_dimensional_env
1.6K20发布于 2019-09-05 - 来自专栏往期博文
【强化学习】迷宫寻宝：Sarsa和Q-Learning
前言 本篇博文通过迷宫寻宝这一实例来探究Sarsa和Q-Learning的不同。 相关代码主要参考自邹伟等人所著的《强化学习》(清华大学出版社)。. 理论基础 这里简单放一下Sarsa和Q-Learning的更新公式，更详细的内容可参看本专栏后续的知识点整理。 程序流程 Sarsa和Q-Learning两种方法的流程几乎是一样的，主要区别在于Q值的更新公式不一样。下面就用语言描述一下算法流程。 Sarsa： # 同轨策略Sarsa class SarsaTable(RL): def __init__(self, actions, learning_rate=0.01, reward_decay 所以从这样的直观角度理解，Q-Learning的效果应该会比Sarsa要好。
1.8K21编辑于 2022-06-14 - 来自专栏往期博文
【强化学习】悬崖寻路：Sarsa和Q-Learning
前言 本篇博文通过悬崖寻路这一实例来实现Sarsa和Q-Learning算法。 相关代码主要参考自PARL强化学习公开课。. 理论基础 这里简单放一下Sarsa和Q-Learning的更新公式，更详细的内容可参看本专栏后续的知识点整理。 Sarsa： Q ( 关于Sarsa和Q-Learning的区别，在本专栏的上一篇博文【强化学习】迷宫寻宝：Sarsa和Q-Learning中，已经做了详细的分析，这里不再赘述。 Sarsa import gym import numpy as np import time class SarsaAgent(object): def __init__(self, obs_n
2K20编辑于 2022-06-14 深入解析SARSA算法：策略依赖性、策略漂移与方差削减
这种现象在SARSA算法中表现得尤为明显，因为SARSA严格遵循"行动策略=目标策略"的on-policy范式。 而期望SARSA通过数学期望运算，实现了对动作空间的平滑处理，这一特性使其在方差控制方面展现出显著优势。 期望SARSA的核心数学表达 期望SARSA的核心改进体现在目标值的计算方式上。 收敛性保证分析 期望SARSA保持了传统SARSA的收敛特性。 实验表明，在Atari游戏等复杂环境中，期望SARSA比传统SARSA能更快突破局部最优。 传统表格型SARSA在状态空间较大时面临维度灾难，而深度SARSA（Deep SARSA）通过函数逼近有效解决了这一问题。
42710编辑于 2025-08-27- 来自专栏DeepHub IMBA
基于时态差分法的强化学习：Sarsa和Q-learning
Sarsa和Q-learning的区别 Sarsa代表State-Action-Reward-State-Action。是一种基于策略的方法，即使用正在学习的策略来生成训练数据。 而Sarsa学会了避开靠近悬崖的状态，从而减少了靠近悬崖的机会。 更新策略: Sarsa：在Sarsa中，更新策略是"状态-动作-奖励-下一个状态-下一个动作"，即更新后的动作与下一个状态相关。 学习方式: Sarsa：由于Sarsa在更新时会考虑在新状态下执行的下一个动作，它更适合于在线学习和与环境进行交互时的应用。Sarsa在实际应用中可能更加稳定，但也可能会收敛较慢。 探索策略: Sarsa：由于Sarsa考虑了在新状态下执行的下一个动作，它在学习过程中倾向于跟随当前策略进行探索，可能更适合于需要较多探索的任务。
49120编辑于 2023-08-30 - 来自专栏NLP/KG
【五】强化学习之Sarsa、Qlearing详细讲解----PaddlePaddlle【PARL】框架｛飞桨｝
相关文章： 【一】飞桨paddle【GPU、CPU】安装以及环境配置+python入门教学 【二】-Parl基础命令 【三】-Notebook、&pdb、ipdb 调试 【四】-强化学习入门简介 【五】-Sarsa 2.Sarsa 部分代码： 建立的Q表格 初始化Q表格：四列n行 Agent是和环境environment交互的主体。 因为程序中有个探索的过程，如果离得太近，下一步会掉下悬崖，重新开始拿到reward-100 reward计算 3.Qlearning Q-learning也是采用Q表格的方式存储Q值（状态动作价值），决策部分与Sarsa Q-learning跟Sarsa不一样的地方是更新Q表格的方式。 Sarsa是on-policy的更新方式，先做出动作再更新。 除了learn其余代码都一样 效果比sarsa好 4.策略结果比较：
57711编辑于 2022-12-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号