观察tensorflow rnn模型权重

Question

我正在使用这里发布的tensorflow rnn翻译模型：

translation model

我想根据我自己的想法修改这段代码的一部分。

我想做的第一件事是查看每一层中的target_weights。

我所知道的是，最初是一个target_weights数组，其中包含用于填充的0和用于句子中每个单词的1。

在初始化之后，它被提供给一个session.run方法，并且它肯定会改变。

现在我想知道，在学习过程中，是否有人知道我应该如何看待这个数组所面对的变化。

或者其他一些东西，我如何才能看到每一层的权重并检查每一层对应的值。

提前感谢

Answer 1

您正在寻找的可能是，它使您能够可视化网络的任意值/统计信息。

​

​

您所要做的就是在代码中添加summarizers，例如通过

tf.scalar_summary("norm of weights going", norm_of_weights)

然后创建摘要编写器

merged = tf.merge_all_summaries()
writer = tf.train.SummaryWriter("logs_directory/", sess.graph_def)

它将创建您的日志，您可以通过tensorboard进行分析。你定义摘要的方式，你记录的东西等等都由你自己决定，并且完全取决于问题。是否要分别跟踪每个权重？如果是这样的话-将标量摘要添加到其中的每一个。你只想要一个简短的进化吗？重点放在这些规范上。您还可以通过tf.histogram_summary等监视直方图(例如，活动的分布)。