Google，扩展了以前的超参数调优运行

Question

我正在使用Google运行超参数调优。我想知道是否有可能从以前的运行中受益(可能是部分的)。

其中一项申请是：

1. 我启动了一个超参数调优工作。
2. 我停止它是因为我想改变我正在使用的集群的类型。
3. 我想在一个新的集群上重新启动我的超调作业，但是我希望从我已经支付过的运行中受益。

或另一项申请：

1. 我发起了一场高调的狂欢节
2. 我想在事后延长审判的次数，而不是从头开始。
3. 然后，举个例子，我想移除一个自由度(例如training_rate)，重点放在其他参数上

基本上，我需要的是“我怎么能有一个超调的检查点?”

太棒了！

Answer 1

是的，这是一个有趣的工作流程--用当前的一组API是不可能的，所以我们需要在未来的规划中考虑这一点。

但是，我想知道现在是否有一些解决办法可以近似于您预期的工作流程。

1. 从更多的试验开始--假设你可以取消一份工作，而不是延长一份工作。
2. 根据外部输入尽早完成培训工作。一旦你到达一个固定的training_rate，你就可以把它记录在GCS中的一个文件中，然后用不同的训练率标记后续的试验是不可行的，所以这些试验很快就结束了。

更进一步(如)启动另一个作业(以添加运行，或更改规模层)，您可能尝试使用相同的输出目录，这次查找具有目标度量的给定超参数集的先前结果(您需要将它们记录在可以查找它们的某个地方--例如。创建gcs文件来跟踪试运行)，因此特定的试用会提前完成，并且培训将转移到下一个试用版。本质上是滚动你自己的“超调检查点”。

正如我所提到的，所有这些都是解决办法，也是一些探索性的想法，可以从您当前的功能中得到什么。