- 综合排序
- 最热优先
- 最新优先
- 来自专栏Datawhale专栏
通俗易懂谈强化学习之Q-Learning算法实战
Q-Value（State, Action）: Q-value是由State和Action组合在一起决定的，这里的Value不是Reward，Reward是Value组成的一部分，具体如何生成Q-value key是(state, action)， value就是对应的Q-value。 3.2 贝尔曼方程的Q-Value版 介绍完贝尔曼方程的思想后，在Q-learning算法中如何去更新Q-Value？ Action，及最终学习产出的Q-value都保存在此张表里。 Q-value 以下为更新Q-value的表达式，这里面有一个非常细节的地方。
2.8K22编辑于 2021-12-13 - 来自专栏数据结构和算法
探索Python中的强化学习：Q-learning
它通过迭代地更新Q-value（行动-状态值函数），使得智能体可以根据当前状态选择最优的行动，并逐步优化策略以获得最大的累积奖励。 Q-learning的原理 Q-learning的核心思想是通过不断地更新Q-value来逼近最优价值函数。 maze = np.array([ [0, 0, 0, 1], [0, 1, 0, 1], [0, 0, 0, 2] ]) 接下来，我们定义Q-table，用于存储每个状态下的Q-value Q_table[state]) # 获取奖励 reward = -1 if maze[state] == 0 else -10 # 更新Q-value Q_table = q_learning(maze, Q_table) print("学习后的Q-table：", Q_table) 结论 Q-learning是一种经典的强化学习方法，通过迭代地更新Q-value
93610编辑于 2024-03-31 - 来自专栏机器学习炼丹之旅
CS231n：12 强化学习
贝尔曼方程 Bellman equation 现在我们固定当前状态 和当前动作 ，那么目标就是要选择最优策略 ，使得Q-value函数最大，这个最优的Q-value函数被记为 ： image.png 3.2 Value iteration 算法 Bellman方程中使用 Q-value 给每次的一个情况（即一个特定的状态和动作组合）都指示了接下来转移的状态和动作，那么只要求得 所有的 Q-value 一个最简单的思路就是将贝尔曼方程看成一个迭代更新的式子： image.png 即新的Q-value由旧的Q-value得到，初始时所有的Q-value为0。 由于要求出所有的Q-value，那么对于一些任务，比如自动玩游戏，其状态为所有的像素，这样庞大的计算几乎是不可能实现的。 3.3 神经网络求Q-value 因此，我们需要使用一个函数估计器去逼近真实的Q-value，通常神经网络是一个很好的函数估计器，即： image.png 其中的 表示神经网络的参数，使用这样一个式子
84340编辑于 2022-08-08 - 来自专栏NLP/KG
LLM推理：如何通过PRMs和MCTS提升大型语言模型的推理能力
Annotaion：如最上面的 MCTS 例子，每个 node 都会有 q-value 值，这个值用于后续训练一个 PRM，以及在预测时，通过这个 q-value 来 select 值得 expantion model 时，只能初始化每个 node 的 q-value 为 0，后续用 MCTS 的方式来估算这个 node 的 q-value，例如通过不断的 trajectory 采样，经过这个 node 这样明显估算出来的 q-value 方差是大的。 ，本质在于降低 q-value 的估算方差。 Process Preference Model 得到每个 node 估算的 q-value，可以用最小二乘作为目标函数，来训练一个 PRM，例如某个 node 的估算 q-value 为 0.6，这可以用
87710编辑于 2025-04-26 【ChiP-seq分析】超级增强子系列8: motif 富集分析工具XSTREME输出文件解释
，但 q-value > 0.05，边缘显著.这些都属于 KLF/SP 家族，识别 GC-rich 序列.同样匹配 SP3、KLF6（MA1515.2）、KLF8（MA1517.2）等 注意：你的 虽然 TOMTOM 的 q-value（FDR 校正后）未达严格显著（通常 < 0.05），但由于多个 KLF 家族成员都给出相似匹配，且 SEA 富集极强，仍可合理推测 KLF 家族 TF（如 KLF3 即使 TOMTOM 的 q-value 不显著，如果 多个相关 TF 都匹配，且 SEA 极显著，依然值得深入验证（如 ChIP、敲除实验）。 ，或仅为近似值 提供 p-value、E-value、q-value（FDR 校正） 方向性 一般不考虑反向互补 明确标注 Orientation（+ / -） 重叠区域 不显示 显示 Overlap 有，但仅作初步参考或交叉验证 TOMTOM q-value 不显著怎么办？ 结合 SEA 富集强度 + 生物学背景综合判断 多个 TF 匹配同一个 motif？
42110编辑于 2025-12-29- 来自专栏CreateAMind
Qzero算法介绍
Qzero算法只有一个head，即Q-value head，value和policy均可由Q-value head导出。与SQN算法类似，算法设计遵从 “如无必要，勿增实体” 的原则。 Simulator (MCTS) select: Softmax policy based on Q-value (SQN) backup: Q-value update (SQN, SQN n-step Actor play: Softmax policy based on Q-value (SQN) 3. Learner learn: Q-value update training data: i. Simulator output，ii. 这项研究可以看做是Qzero算法的Simulator部分的一个特例，论文作者对Simulator (MCTS) 中Q-value update (SQN-CF) 进行了研究，研究中提出的算法MENTS
1.6K20发布于 2020-09-28 - 来自专栏CreateAMind
SQN算法介绍
SQN是Soft Q Network的缩写，是基于Q-value的强化学习算法，"Soft"指代的是熵正规化（ entropy regularization ）。 SQN的policy为Q-value的Softmax形式，是算法的策略改进（policy improvement )部分，Q-value 的更新为值估计（value estimation）部分。
2.1K20发布于 2020-05-07 - 来自专栏数据结构和算法
探索Python中的强化学习：SARSA
它通过迭代地更新Q-value（行动-状态值函数），使得智能体可以根据当前状态和选择的行动，学习到最优策略，并逐步优化策略以获得最大的累积奖励。 maze = np.array([ [0, 0, 0, 1], [0, 1, 0, 1], [0, 0, 0, 2] ]) 接下来，我们定义Q-table，用于存储每个状态下的Q-value 选择下一个行动 next_state, next_action = get_next_state_and_action(state, action) # 更新Q-value 并获得学习后的Q-table： Q_table = sarsa(maze, Q_table) print("学习后的Q-table：", Q_table) 结论 SARSA是一种经典的强化学习方法，通过迭代地更新Q-value
39910编辑于 2024-04-01 - 来自专栏Y大宽
GO和KEGG富集分析及去冗余工具及原理
另外，该包还可以对富集结果进行比较并可视化具体参数设置为：p-value cutoff=0.01, q-value cutoff=0.05, p值矫正方法为BH（即把每个p-value进行矫正，转换为q-value
5.6K40发布于 2019-05-20 - 来自专栏数据结构和算法
探索Python中的强化学习：DQN
DQN是一种基于深度神经网络的强化学习方法，其核心思想是利用神经网络来近似Q-value函数，从而学习最优策略。 其基本思路如下： 使用深度神经网络来近似Q-value函数，即给定状态作为输入，输出每个行动的Q-value； 通过经验回放（Experience Replay）来保存智能体的经验，并随机抽样进行训练， next_state[1] = max(0, min(1, next_state[1])) return tuple(next_state) 接下来，我们定义一个简单的深度神经网络，用于近似Q-value agent.train() state = next_state if done: break 结论 DQN是一种基于深度神经网络的强化学习方法，通过近似Q-value
98610编辑于 2024-04-02 - 来自专栏AI科技大本营的专栏
今日头条首次改进DQN网络，解决推荐中的在线广告投放问题
DQN架构 在深入本文具体的算法架构前，我们先来简单回顾下DQN的两种经典结构： 图a的DQN接受的输入是state，输出是所有可能action对应的Q-value； 图b的DQN接受的输入是state 以及某一个action，输出是对应的Q-value。 也就是说，本框架会同时针对所有可能的插入位置的Q-value进行预估。 如下左图所示，其实是融合了上述提到了两种经典DQN结构的结合，输入层包含State以及Action（插入哪条广告），输出层则是广告插入推荐列表的L+1位置对应的Q-value（假设推荐列表长度为L，则可以插入广告的位置为
1.2K00发布于 2019-10-10 - 来自专栏人工智能LeadAI
推荐系统遇上深度学习(十五)--强化学习在京东推荐中的探索
现有的强化学习大多先计算每一个item的Q-value，然后通过排序得到最终的推荐结果，这样就忽略了推荐列表中商品本身的关联。 而List-wise的推荐，强化学习算法计算的是一整个推荐列表的Q-value，可以充分考虑列表中物品的相关性，从而提升推荐的性能。 Architecture Selection 对于深度强化学习的模型，主要有下面两种结构： 左边的两个是经典的DQN结构，(a)这种结构只需要输入一个state，然后输出是所有动作的Q-value，当 (b)的输入时state和一个具体的action，然后模型的输出是一个具体的Q-value，但对于这个模型结构来说，时间复杂度非常高。 Actor输入一个具体的state，输出一个action，然后Critic输入这个state和Actor输出的action，得到一个Q-value，Actor根据Critic的反馈来更新自身的策略。
2.2K00编辑于 2023-03-28 - 来自专栏小小挖掘机
推荐系统遇上深度学习(十五)--强化学习在京东推荐中的探索
现有的强化学习大多先计算每一个item的Q-value，然后通过排序得到最终的推荐结果，这样就忽略了推荐列表中商品本身的关联。 而List-wise的推荐，强化学习算法计算的是一整个推荐列表的Q-value，可以充分考虑列表中物品的相关性，从而提升推荐的性能。 左边的两个是经典的DQN结构，(a)这种结构只需要输入一个state，然后输出是所有动作的Q-value，当action太多时，这种结构明显的就不适用。 (b)的输入时state和一个具体的action，然后模型的输出是一个具体的Q-value，但对于这个模型结构来说，时间复杂度非常高。 Actor输入一个具体的state，输出一个action，然后Critic输入这个state和Actor输出的action，得到一个Q-value，Actor根据Critic的反馈来更新自身的策略。
1.9K52发布于 2018-07-25 - 来自专栏晓飞的算法工程笔记
BlockQNN：NASNet同期，商汤提出block-wise版的MetaQNN | CVPR 2018
Bellman’s Equation进行公式1的优化，给予状态$s_t \in S$以及后续的操作$a \in A(s_t)$，定义最大的总期望回报为$Q^*(s_t, a)$，即state-action对的Q-value 1240] 由于$r_t$不能显示地计算，这里采用reward shaping的方法加速训练，之前的方法比如MetaQNN都直接将中间奖励设为零，这会导致RL耗时，因为在刚开始的阶段，$s_T$的Q-value 会明显高于其它状态(终止层Q-value无折扣率，直接是准确率？) 完整的学习过程如图4c，agent首先采用一系列结构编码来构建block并构建完整的网络，然后训练生成的网络，将验证准确率作为reward来更新Q-value，最后，agent选择另外的结构编码来获得更好
55630发布于 2020-05-09 - 来自专栏CreateAMind
Soft Reinforcement Learning 介绍
定理的核心结论是：SRL的optimal policy 是 SOFT 的（起名SRL的原因），即 optimal policy 是 Q-value 的 softmax 函数。 而HRL 的 optimal policy 是 HARD 的，即 optimal policy 是 Q-value 的max函数。如果SRL中的alpha取为0，则SRL退化成HRL。 设在圈点的Q-value为 Q(s0,a)，p1,p2分别对应Q1=Q(s0,a1), Q2=Q(s0,a2)，Q1>Q2。
1.1K40发布于 2020-09-28 - 来自专栏杨熹的专栏
Q-learning 的本质是在干什么？
agent 在当前 state 下采取一个 action，根据 P 得到一个奖励，进而计算出一个 Q-value 来记忆这个 action 是否是有利的，它也是衡量这对 state action 组合的质量的指标 公式的含义是给旧的 Q-value 加个权重 (1−α)，再加上新学到的值，这个新学到的值包括在当前state采取当前action的奖励，加上下一个状态next state上最大reward的discounted
69120发布于 2020-03-20 - 来自专栏帮你学MatLab
matlab倒立摆强化学习训练
这就要用到强化学习中的“Q-value”、但Q-value也是一个未知的函数，所以也可以用神经网络来近似。这个网络被称为critic。 只有重力的情况是这样的 ?
1.7K10发布于 2019-11-10 - 来自专栏杨熹的专栏
Q-learning 的 python 实现
会先进行探索，就是随机选择一个 state，随机选择一个 action，这样通过表格 P，就能得到下一个状态，以及此时的奖励，于是由 Q-function 可以计算出这对 state-action 组合的 Q-value agent 对环境有一定的了解后，即 Q-table 有了一些数值后，就可以利用环境，即在选择 action 时不是随机选取，而是选择 Q-table 中当前 state 下所有 action 中选择 Q-value
1.1K20发布于 2020-03-20 - 来自专栏CreateAMind
SQN算法效果及代码: Breakout-ram-v4 打砖块
SQN （Soft Q Network ）是基于Q-value的强化学习算法，伪代码及源代码详见createamind代码库。
1.7K10发布于 2019-04-28 - 来自专栏机器学习算法与Python学习
入门必看 | 深度Q-learning简介【RL系列】
作者 | Robbie Allen 编译 | 专知 整理 | Sanglei, Shengsheng 今天，我们将构建一个深度Q网络，为环境中的agent实现一个可以获取环境状态信息以及近似Q-value 我们需要找到向量中最大的Q-value，以帮我们做出最好的行为决策。 开始，agent的错误很多，但一段时间后，就可以将每帧画面（环境）与最好的行为关联起来 ? 预处理部分 ? 在网络中，我们采用一个使用激活函数为ELU的全连接层、一个输出层（采用线性激活函数的全连接层）来为每个行为计算Q-value值。 误差（TD误差）通过计算Q_target（下一个时刻的最大可能值）与当前状态下预测得到的Q-value间的差值来获得。 ? 在算法中，出现了两种处理过程。
62340发布于 2018-08-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号