SARSA的Zeta变量(Lamda)

Question

zeta在critic方法中代表了什么？我相信它会跟踪状态-动作对并代表资格痕迹，这是状态-动作的临时记录，但是zeta到底代表什么，它在c++中是什么样子(例如，双精度向量)？

评论家

​

Answer 1

就像你已经说过的，zeta代表资格痕迹。这可以直观地理解为包含“在所有之前的时间步中遇到的所有状态-动作特征向量的衰减混合”。这是我们之前看到的东西的痕迹，因此我们也应该对我们现在观察到的奖励给予一点信任。

更正式地说，如果你想要编写RL算法的增量实现(计算时间平均分布在你的所有时间步长上)，那么它就是必需的，当以更直接/明显/幼稚的方式编写时，只能以非增量方式实现，因为它们的更新规则需要您的场景中所有时间步长的信息(例如，lambda-return/ Monte Carlo return)。这可能听起来相当复杂，但更好的办法是坚持直观的解释。

至于它在C++中会是什么样子，是的，几乎是一个双精度矢量。图像中第一行代码前的"z \in R^d“就意味着，它是一个实数的d-dimensional向量(C++中的双精度或浮点数)，其中d是状态操作特征向量(phi)的维数。

您还可以通过需要将其添加到伪代码中其他位置的其他d-dimensional向量(phi和theta)来判断它必须是一个d-dimensional向量。只有在zeta本身也是一个d-dimensional向量的情况下，才能从数学上正确地解决这个问题。