keras dqn代理需要更多维度

Question

我已经在openAI健身房的基础上构建了一个定制环境，我的目标是在这个环境上训练一个DQN代理。

在此环境中，每个观察空间为一行和75列，因此

env.observation_space.shape

(75,)

当我构建模型时，我使用以下内容：

def build_model(states, actions):
    model = Sequential()
    model.add(Dense(75, activation = 'relu', input_dim = 75))
    model.add(Dense(75, activation = 'relu'))
    model.add(Dense(actions, activation = 'relu'))
    return model

第一层的输出形状(无，75)和最后一层的输出形状(无，3)用于三个可能的动作中的每一个。

在构建我的代理时，我使用：

def build_agent(model, actions):
    policy = BoltzmannQPolicy()
    memory = SequentialMemory(limit=50000, window_length=1)
    dqn = DQNAgent(model=model, memory=memory, policy=policy, 
                  nb_actions=actions, nb_steps_warmup=10, target_model_update=1e-2)
    return dqn

但是，拟合代理时会抛出以下错误：

dqn = build_agent(model, actions)
dqn.compile(Adam(lr=1e-3), metrics=['mae'])
dqn.fit(env, nb_steps=50000, visualize=False, verbose=1)

Error when checking input: expected dense_58_input to have 2 dimensions, but got array with shape (1, 1, 75)

我不明白为什么会有额外的维度，因为我的数据观察值是75列。我需要重塑我的输入还是重新定义我的模型的输入层？

Answer 1

来自评论部分，为社区造福。

当前使用rl.agents的

。我修复了这个问题，使用扁平层作为第一层。