Vizier HyperParameter优化作业已被服务终止

Question

我在GCP AI平台上运行了一个Vizier HyperParameter调优作业，试验一直被中断，出现错误：Terminated by service. If the job is supposed to continue running, it will be restarted on other VM shortly.

我使用的是STANDARD_P100图形处理器，似乎在训练过程中，单个调整试验从图形处理器启动(抢先) --一些试验成功完成，一些试验在1000或2000步左右停止--这些总是发生在1000步，这很重要，因为我每1000步进行一次评估，所以在训练和评估之间切换时似乎发生了一些事情，这使得这些工作被抢先完成。下一次试验启动，然后通常再次运行1000步(而不是重新启动前一次试验)。

我能做些什么使我的试验成功完成吗？它们永远不会像VM所说的那样重新启动，而且它似乎使整个超参数调整变得毫无价值，因为大约90%的试验从未完成，失败的试验可能会给vizier优化算法带来不良信息。这些运行在GPU上运行是非常昂贵的，而且它们基本上是一文不值的，即使我正在为永远不会完成的试验收费。

下面是我的hptuning_config的一个例子。

scaleTier: CUSTOM
  masterType: standard_v100
  hyperparameters:
    goal: MAXIMIZE
    hyperparameterMetricTag: 'accuracy'
    maxTrials: 80
    maxParallelTrials: 1
    enableTrialEarlyStopping: TRUE
    params: ...

Answer 1

我也有同样的问题。我怀疑是因为enableTrialEarlyStopping

https://cloud.google.com/ml-engine/docs/using-hyperparameter-tuning#stopping_trials_early

您必须设置：

enableTrialEarlyStopping: False