用自定义仿真器使用Ray RLlib

Question

我对Ray RLlib非常陌生，在使用我的团队制作的自定义模拟器时遇到了问题。我们正在尝试将一个基于Python的自定义模拟器集成到Ray RLlib中，以完成单个代理的DQN培训。但是，我不确定如何将模拟器作为一个环境集成到RLlib中。

根据Ray文档中的图片，我似乎有两种不同的选择：

1. 标准环境：根据Carla模拟器示例，我似乎可以简单地使用gym.Env类API包装我的自定义模拟器并使用ray.tune.registry.register_env函数注册为一个环境。
2. 外部环境：然而，下面的图像和RLlib文档给我带来了更多的困惑，因为这意味着可以在RLlib控制之外独立运行的外部模拟器应该通过ExternalEnv类使用。

如果有人能建议我该做什么，我会非常感激的！谢谢!

​

Answer 1

如果您的环境确实可以被结构化，以适应健身房风格(init，重置，步进功能)，您可以使用第一个。

外部环境主要用于不适合这种风格的RL环境，例如基于Web浏览器(测试、自动化等)的应用程序或任何持续的财务应用程序等。

Answer 2

由于您编写了使用自定义的基于Python的模拟器，所以我认为您可以使用PolicyClient和PolicyServerInput API。在模拟器(env)端实现PolicyClient，并向PolicyClient提供来自模拟器的数据(观察、奖励等)。我认为这可能对你有帮助。