为SageMaker HyperParameter调优作业设置最大运行时

Question

我的培训工作只运行一两分钟，所以我增加了资源限制，这样我就可以并行运行大量的数据(500)。但是，我想设置一些上限，这样我就不会意外地让他们跑上几个小时乘以500.

在文档中我可以找到以下内容

超参数调优作业的最大运行时间: 30天

30天太累了，但我怎么才能改变呢？如果它达到了最大的总训练时间，我很乐意把它设置为停止，但是与其他限制不同的是，没有提到这一点可以改变。

Answer 1

虽然没有可以限制调谐器作业持续时间的Tuner参数，但是可以使用tuner的工作参数设置有效的$支出限制：

allowed_spend_usd = 50 # 50$
instance_cost_usd_hr = 0.1
total_train_minutes_allowed = allowed_spend_usd * 60 / instance_cost_usd_hr
minutes_per_job = 2 # you know this empirically 
max_jobs = round(total_train_minutes_allowed / minutes_per_job)
###
tuner = HyperparameterTuner(max_jobs=max_jobs, ...)

我建议您还为每个培训任务设置一个合理的跑，以进一步确保培训作业的完成速度与您预期的一样快(如果您预期的时间为60-120秒，则为300秒)。