生成对抗网络tanh？

Question

我想知道，为什么在我看到的大多数GAN模型(至少在MNIST中)，激活函数(用于鉴别器和生成器)是tanh？ReLu不是更高效吗？(我总是为预测网络阅读这篇文章)

谢谢!

Answer 1

来自DCGAN论文Radford et al. [https://arxiv.org/pdf/1511.06434.pdf]..。

“在生成器中使用了ReLU激活(奈尔和欣顿，2010)，但输出层使用了Tanh函数。我们观察到，使用有界激活允许模型更快地学习，以达到饱和并覆盖训练分布的颜色空间。在鉴别器中，我们发现泄漏整流激活(Maas等人，2013) (Xu等人，2015)工作良好，特别是对于更高分辨率的建模。这与最初的GAN论文形成对比，该论文使用最大输出激活(Goodfellow et al.，2013)。”

这可能是因为tanh的对称性在这里是一个优势，因为网络应该以对称的方式处理较深的颜色和较浅的颜色。

Answer 2

有时，它取决于您希望激活落入的范围。当你在ML文献中听到"gates“时，你可能会看到一个在0和1之间的sigmoid。在这种情况下，他们可能希望激活在-1和1之间，所以他们使用tanh。This page说要使用tanh，但他们没有给出解释。DCGAN使用ReLUs或泄漏ReLUs，但生成器的输出除外。这是有道理的--如果你嵌入的一半变成了零呢？在-1和1之间平滑变化的嵌入可能会更好。

我很乐意听到别人的意见，因为我不确定。