使用Wandb扫描对自定义参数进行超参数优化

Question

我试图使用网络体系结构的稳定基线-3库来调优超参数.

我的配置文件是：

program: main.py
method: bayes
name: sweep
metric:
  goal: minimize
  name: train/loss
parameters:
  batch_size:
    values: [16, 32, 64, 128, 256, 512, 1024]
  epochs:
    values: [20, 50, 100, 200, 250, 300]
  lr:
    max: 0.1
    min: 0.000001

但是，如果我试图添加参数：

  policy_kwargs:
    net_arch:
      pi:
        values: [[ 128, 128 ],[ 256, 256 ],[ 512, 512 ]]
      vf:
        values: [[ 128, 128 ],[ 256, 256 ],[ 512, 512 ]]

我得到了以下错误：

wandb.errors.CommError: Invalid sweep config: invalid hyperparameter configuration: policy_kwargs

是否有可能在网络架构中使用具有稳定基线-3的wandb扫描？

Answer 1

您正在尝试创建一个嵌套配置。请参阅本文档这里。

您的配置应该是：

program: main.py
method: bayes
name: sweep
metric:
  goal: minimize
  name: train/loss
parameters:
  batch_size:
    values: [16, 32, 64, 128, 256, 512, 1024]
  epochs:
    values: [20, 50, 100, 200, 250, 300]
  lr:
    max: 0.1
    min: 0.000001
  policy_kwargs:
    parameters:
        net_arch:
            parameters:
                pi:
                    values: [[ 128, 128 ],[ 256, 256 ],[ 512, 512 ]]
                vf:
                    values: [[ 128, 128 ],[ 256, 256 ],[ 512, 512 ]]