Horovod和Tensorflow估计器

Question

如何将使用tf.train.MonitoredTrainingSession的Horovod示例扩展为使用tf.estimator.Estimator？我使用的是Tensorflow 1.4.0。

与我当前代码非常相似的Here is an example。

我想将它与hyperopt一起使用，我喜欢这样可以轻松地做一些事情，比如

tf.contrib.learn.learn_runner.run(
      experiment_fn=_create_my_experiment,
      run_config=run_config,
      schedule="train_and_evaluate",
      hparams=hparams)

为了使用不同的超参数进行训练，hparams。这也为训练集和验证集提供了单独的Tensorboard日志目录-我希望Horovod解决方案也是如此。我使用了一个tf.train.SingularMonitoredSession(hooks=hooks, config=config)，其中hooks包含一个tf.train.SummarySaverHook，但我只能让它在训练集上很好地工作。

Answer 1

已将TensorFlow Estimator example添加到霍洛夫德存储库。