关于tensorboard adam节点

Question

当我运行tensorboard时，我发现在我的权重中，例如‘variable_scope’，有两个adam节点，它们的名称是'weight/Adam‘和'weight/Adam_1'，但是我不能在我的variable_scope 'weight’中定义它。是我的代码错了，还是adam算法自动在“weight”中添加了两个节点，以便建立控制依赖关系？

Answer 1

因此，首先，这两个节点由您的AdamOptimizer添加，作为BP计算图中的节点。

然后，对于为什么有两个节点而不是一个节点的问题，尽管不了解幕后发生的事情，但这应该是正常情况。试试这个简单的代码片段：

import tensorflow as tf

x = tf.placeholder(shape=(None, 10), dtype=tf.float64)
W = tf.get_variable(shape=(10, 20), dtype=tf.float64, name="W")
y = tf.matmul(x, W)
opt = tf.train.AdamOptimizer(learning_rate=0.001, beta1=0.9, beta2=0.98, epsilon=1e-8)
y_true = tf.placeholder(shape=(None, 20), dtype=tf.float64)
loss = y_true - y
train_op = opt.minimize(loss)

for v in tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES):
    print(v)

这将为您提供以下内容：

<tf.Variable 'W:0' shape=(10, 20) dtype=float64_ref>
<tf.Variable 'beta1_power:0' shape=() dtype=float32_ref>
<tf.Variable 'beta2_power:0' shape=() dtype=float32_ref>
<tf.Variable 'W/Adam:0' shape=(10, 20) dtype=float64_ref>
<tf.Variable 'W/Adam_1:0' shape=(10, 20) dtype=float64_ref>

其中还创建了2个Adam节点