如何在tensorflow层中加入活化调节

Question

有些模型，如稀疏自动编码器，需要激活正则化，但我找不到一个API来规范层的激活。

有什么方法可以添加自定义的正则化器吗？还是层激活tf.trainablevariables？

我知道tensorflow可以在体重上应用l2调节

Answer 1

这取决于你到底想要实现什么：

• 正则化允许您组合正则化器和应用它的一组张量。
• 正则化允许您定义应用l2的作用域。
• 但是，从本质上说，正则化函数只是要加到成本函数中的一个函数，所以任何函数(张量)都可以看作是一个正则化函数，并将被考虑在内。