静态强化学习

Question

Q学习能在每一步的静态状态下工作吗？

我的意思是，这些行为根本不影响下面的状态。这些事件只是一次又一次地重复相同的数据。当然，不同的行为会带来不同的回报，但是在这种情况下，Q学习是正确的概念吗？你还能推荐什么类型的？

Answer 1

您描述的框架是Bandits框架。土匪是解决无状态MDP的算法。因此，这个问题并不是连续的，因为动作会影响到下一个状态的转换。看看一个不错的语境带教程，它附带有Python木星笔记本。请注意，上下文Bandits是一个特殊类别的Bandits，但至少你将暴露在一般强盗的想法和形式化。

您可以尝试Q学习，但以Rescorla规则$r(a) - Q(a)$作为奖励更正$\gamma\max_a‘Q(S)’，a‘$没有任何意义，因为没有过渡到随后的状态$s'$。