Edward中权重的L2正则化

Question

我正在尝试理解如何在Edward models中使用正则化。我还不熟悉tensorflow (它被用作Edward的后端)。考虑下面的模型，

# prior
w=Normal(loc=tf.zeros((d,c)),scale=tf.ones((d,c)))

# likelihood
y=Categorical(logits=tf.matmul(X,w))

# posterior
loc_qw = tf.get_variable("qw/loc", [d, c])
scale_qw = tf.nn.softplus(tf.get_variable("qw/scale", [d, c]))
qw = Normal(loc=loc_qw, scale=scale_qw)

# inference 
inference = ed.KLqp({w: qw, b: qb}, data={X:train_X, y:train_y})

我注意到Edward在其loss function中使用了正则化损失。loss = -(p_log_lik - kl_penalty - reg_penalty)

然而，我不知道如何将正则化损失应用于Edward模型。我们如何将L1或L2正则化添加到上述模型中？

谢谢!

Answer 1

我知道正态先验等价于l2正则化。想象一下，如果先验不是正态的，如果我们想使参数正则化，我们在随机优化过程中尝试估计。

我发现这可以使用后验中tf变量的正则化参数来完成。

loc_qw = tf.get_variable("qw/loc", [d, c], regularizer=tf.contrib.layers.l2_regularizer(reg_scale) )