多个网络共享变量

Question

我刚刚开始使用Tensorflow，有一个关于共享变量的问题。

我同时运行两个神经网络，但我希望它们共享权重和偏差。我的成本函数将是这两个网络的组合。我想用tf.layers.dense。这段代码会不会产生我想要的共享特性？

def NN_function(x1):
    x1 =  tf.layers.dense(x1,20, reuse=True,name="name1")
    x2 =  tf.layers.dense(x1,10, reuse=True,name="name2")
    x3 =  tf.layers.dense(x2,5, reuse=True,name="name3")
    output =  tf.layers.dense(x3,2, reuse=True,name="nam4")
    return output



pred_1 = NN_function(input_1)

pred_2 = NN_function(input_2)


costNN = tf.add(tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits= pred_1,
                                                                   labels=ply_2)),
            (alpha * tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits= pred_2,
                                                                            labels=PLy_1))))

Answer 1

您希望在一致的variable scope下构建您的层。变量作用域只是增加了变量的名称，同时允许您灵活地选择重用变量。

def NN_function(x1):
    with tf.variable_scope('NN_func', reuse=tf.AUTO_REUSE):
        x1 =  tf.layers.dense(x1,20, reuse=True,name="name1")
        x2 =  tf.layers.dense(x1,10, reuse=True,name="name2")
        x3 =  tf.layers.dense(x2,5, reuse=True,name="name3")
        output =  tf.layers.dense(x3,2, reuse=True,name="nam4")
        return output