使用choice时的Hyperas语法问题

Question

我刚开始使用Hyperas，并且我面临着一个语法问题。我想在keras中优化我的LSTM的参数，为此，我使用hyperas来循环参数，比如丢失率或神经元数量，以及在不同的架构之间进行选择。所以我的代码如下：

def building_model(x_train, y_train, x_test, y_test):
    model = Sequential()
    model.add(LSTM({{choice([100, 200, 300, 400, 500])}}, input_shape=(48,  6), return_sequences=True))
    model.add({{choice([Dropout({{uniform(0, 1)}}), BatchNormalization()])}})
    model.add(LSTM({{choice([100, 200, 300, 400, 500])}}))
    model.add({{choice([Dropout({{uniform(0, 1)}}), BatchNormalization()])}})
    if {{choice(['three', 'four'])}} == 'four':
        model.add({{choice([Dense({{choice([100, 200, 300, 400, 500])}}), LSTM({{choice([100, 200, 300, 400, 500])}})])}})
        model.add({{choice([Dropout({{uniform(0, 1)}}), BatchNormalization()])}})
    model.add(Dense({{choice([100, 200, 300, 400, 500])}}))
    model.add(Dense(24, activation="linear"))
    model.compile(loss="mse", optimizer={{choice(['rmsprop', 'adam', 'sgd', 'nadam'])}}, metrics=['accuracy']) 
    result = model.fit(x_train, y_train, epochs=epochs, batch_size={{choice([12, 24, 64, 128])}}, validation_split=0.1, verbose=2, callbacks=[early_stopping, checkpointer], save_dir="saved_models")
    validation_acc = np.amax(result.history['val_acc']) 
    print('Best validation acc of epoch:', validation_acc)

return {'accuracy': validation_acc, 'status': STATUS_OK, 'model': model}  

我使用optim.minimize函数来运行它：

best_run, best_model = optim.minimize(model=building_model,
                                      data=data,
                                      algo=tpe.suggest,
                                      max_evals=10,
                                      trials=Trials())

但是我面临的问题是，当Hyperas自己构建模型时，它会生成以下代码：

model = Sequential()
    model.add(LSTM(space['LSTM'], input_shape=(48, 6), return_sequences=True))
    model.add(Dropout(space['Dropout']))
    model.add(LSTM(space['LSTM_1'], return_sequences=True))
    model.add(space['add']), BatchNormalization()])}})
    model.add(LSTM(space['LSTM_2']))
    model.add(space['add_1']), BatchNormalization()])}})
    if space['add_2'] == 'four':
        model.add(space['add_3']), LSTM(space['LSTM_3'])])}})
        model.add(space['add_4']), BatchNormalization()])}})
    model.add(Dense(space['LSTM_4']))
    model.add(Dense(24, activation="linear"))

在第5、7、9和10行出现语法错误的情况下，您有什么想法来改变这一点吗？

Answer 1

我认为dropout layer的正确语法是

model.add(Dropout({{uniform(0, 1)}}))
model.add(BatchNormalization())

请注意，LSTM或Dropout等层类型位于外部。