使用TensorBoard从tf_agents可视化图形

Question

我对RL非常陌生，目前正在自学如何使用tf_agents库实现不同的算法和超参数。

我一直在使用本教程https://colab.research.google.com/github/tensorflow/agents/blob/master/docs/tutorials/1_dqn_tutorial.ipynb提供的代码。

在学习了如何使用TensorBoard之后，我开始想知道如何从tf_agents库可视化一个图形。每个TensorBoard教程/帖子似乎都实现了自己的模型，或者定义了tf.function来记录图表。但是，我只是不能将这些方法应用到上面的教程中。

如果有人能帮助我用tf_agents在TensorBoard中可视化一个模型图，那将是非常感谢的。谢谢!

Answer 1

考虑到这个colab笔记本是一个非常简单的版本，如何TF-代理人实际工作。实际上，您应该使用驱动程序来采样轨迹，而不是手动调用

agent.action(state)
env.step(action)

每次迭代的时候。驱动程序的另一个优点是它提供了与TF-Agent中所有指标的简单兼容性。

关于你的问题是如何：

在您的培训开始时，定义一个summary_writer，如下所示：

train_dir = os.path.join(root_dir, 'train')    
train_summary_writer = tf.summary.create_file_writer(
            train_dir, flush_millis=10000)
train_summary_writer.set_as_default()

现在，每次您调用agent.train时，它都会刷新到这个摘要编写器及其张量板文件夹train_dir。

要在混合中添加一些度量，只需使用如下内容来定义它们：

train_metrics = [
        tf_metrics.NumberOfEpisodes(),
        tf_metrics.EnvironmentSteps(),
        tf_metrics.AverageReturnMetric(buffer_size=collect_episodes_per_epoch),
        tf_metrics.AverageEpisodeLengthMetric(buffer_size=collect_episodes_per_epoch),
    ]

将它们与重放缓冲区一起作为观察员传递给驱动程序，如下所示：

dynamic_episode_driver.DynamicEpisodeDriver(
            tf_env,
            collect_policy,
            observers=replay_observer + train_metrics,
            num_episodes=collect_episodes_per_epoch).run()

在此之后，将它们记录到您的摘要中：

for train_metric in train_metrics:
    train_metric.tf_summaries(train_step=epoch_counter, step_metrics=train_metrics[:2])

如果您想知道，step_metrics arg将绘制前两项指标的最后两个指标。