如何查看gym.make('env')内部发生了什么

Question

为了创建自己的环境并使用github的一些代码，我需要查看gym.make('env')内部发生了什么，例如gym.make('carpole0')

在健身房里的github，我能找到它吗？我找到了https://github.com/openai/gym/blob/master/gym/envs/classic_control/cartpole.py，但它没有做吗？

如何编写“为DQN定义环境(env)”的更新部分，而DQN不在健身房库中？我正在寻找一个环境定义"env"示例上的github或其他资源，不是为Atari游戏设计的。我看到了几个模型，但大多数都使用OpenAI的gym库，它们都是为玩Atari游戏而编写的，这些游戏具有相对简单的环境。我正在寻找一个更复杂的状态游戏环境。

我想为状态t+1编写一个基于状态t的更新函数(step环境函数)。我的问题是，如果状态在之前依赖于多个状态，那么如何实现呢？我正在寻找一个例子来证明这一点。它似乎有义务在环境中发送时间t。

如果为自适应控制问题定义一个示例，对我来说会更有帮助。

Answer 1

在数组或字典中存储环境的所有状态。

如果您的环境需要在t之前访问以前的状态以确定下一个状态t + 1，则这些状态将在数组中。

# array that maintains list of all states the agents experiences
states_experienced = []

# each time a new state is encountered, add it to the array
states_experienced.append(current_state)

如果顺序不重要，或者您希望按键索引状态，则可以使用字典代替。