OpenAI健身房自定义环境:具有实值的离散观察空间

Question

我想创建自定义的openai健身房环境，它有离散的状态空间，但有浮点值。更精确地说，它应该是一个0.25步长的值范围: 10.0，10.25，10.5，10.75，11.0，...，19.75，20.0

有没有办法在openai健身房定制环境中做到这一点，使用离散空间，盒子，MultiDiscrete或其他一些空间？离散需要一个整数，而Box似乎没有某种step参数。

Answer 1

您可以使用np.linspace实现您自己的空间(例如，考虑将spaces.Box作为指导原则)：

from gym.spaces.space import Space
import numpy as np

class Incremental(Space):
    def __init__(self, start, stop, num, **kwargs):
        self.values = np.linspace(start, stop, num, **kwargs)
        super().__init__(self.values.shape, self.values.dtype)

    def sample(self):
        return np.random.choice(self.values)

    def contains(self, x):
        return x in self.values

space = Incremental(10, 20, 41)