最大梯度下降的l1_regularization_strength和l2_regularization_strength定义

Question

张量流具有近端梯度下降优化器，可称为：

loss = Y-w*x # example of a loss function. w-weights to be calculated. x - inputs.

opt=proximal_gradient_descent.ProximalGradientDescentOptimizer(learningrate,l1_regularization_strength, l2_regularization_strength)

opt_step= opt.minimize(loss)

既然我们知道近端梯度下降是以l1范数和l2范数作为正则化的，那么我的问题就来了：，我应该在我的损失中包括l1/l2范数，还是我应该使用类似于上述损失的东西？。

而且，ProximalGradientDescentOptimizer似乎是在proximal_gradient_descent下定义的，而minimize则是在优化器下定义的。我不知道regularization_strength是否可以传递给优化器。

对这些问题有想法的人，请告诉我。谢谢!

Answer 1

使用tensorflow优化器，它将正则化作为优化器参数，在丢失函数中不包括正则化项。许多优化器，特例正则化，如果你也添加正则化的话，你最终会重复计算或者失去这个特殊大小写的优点。