MDP计算

Question

下面的计算是如何进行的？

​

​

Answer 1

当您处于状态S_{n-2}时，最优操作为

[a0, a0, {a0|a1}, {a0|a1}, {a0|a1}, ...]

它会给你这个奖励序列：

[0.0, 0.0, 1.0, 1.0, 1.0, ...]

要在S_{n-2}中获得最佳值，您只需使用γ打折获得最优回报

γ^0*0.0 + γ^1*0.0 + γ^2*1.0 + γ^3*1.0 + γ^4*1.0 + ...
= γ^2 * (1.0 + γ + γ^2 + ...)
= γ^2 * V(G)

在你到达目标步骤之前，你得到的中间奖励为零。因此，这相当于将G的值折现两个时间步长。