在openai健身房中避免非法状态

Question

我正在尝试为一个模拟问题创建一个健身房环境。在我的健身房环境中，我有一组非法的状态，我不希望我的经纪人进入这些状态。将这样的逻辑添加到我的环境中最简单的方法是什么，我应该使用包装器类吗？我没有完全理解它们，我试图通过继承一个类来扩展MultiDiscrete空间，并覆盖MulriDiscrete.sample函数来阻止环境进入非法状态，但是有没有更有效的方法来做到这一点？

Answer 1

我有一个类似的问题，我需要创建一个健身房环境，在网格世界的中心有一个类似的游泳池，我不想让代理去那里。

因此，我将网格世界表示为矩阵，并且池具有不同的深度，代理可以落入其中，因此这些位置的值具有负值，与水坑的深度成正比。

当训练智能体时，这种负奖励防止了智能体掉进水坑。

上面环境的代码是here，它的用法是here

希望这能有所帮助。