最近策略优化中的目标函数

Question

在PPO的目标函数中，第二项引入了值函数神经网络的平方误差损失。这个术语本质上就是优势的平方，对吗？

Answer 1

不，这是训练V的TD错误。您可以将两个损失分开，但不会发生任何变化，因为网络不共享参数。实际上，策略是在等式的第一项上训练的，而V是在第二项上训练的。