如何选择网格搜索(当使用trainer.hyperparameter_search时)？

Question

我想运行trainer.hyperparameter_search (使用网格搜索)，而且我还没有看到任何HP算法类型参数。

如何配置trainer.hyperparameter_search以运行网格搜索？

Answer 1

您可以将Optuna用于此：

def hp_search(trial):
    return {
        "learning_rate": trial.suggest_float("learning_rate", 5e-5, 5e-6, log=True),
        "num_train_epochs": trial.suggest_int("num_train_epochs", 3,10),
        "per_device_train_batch_size": trial.suggest_categorical("per_device_train_batch_size", [1,2,4,6,8,16,32]),
    }

trainer.hyperparameter_search(direction="maximize", hp_space=hp_space)

这个线程也会给手头的任务带来更多的光明。