主流的预先训练的模型作为鉴别器有用吗？

Question

在GANs的背景下，我看到许多论文设计了新的鉴别器网络。

我很好奇将鉴别器设计成主流模型的修改版本(如“盗梦空间”、“MobileNet”、“EfficientNet”等)是否有用。我的直觉是，上述的图像分类模型比一篇特定论文的自定义鉴别器要精细得多，标准化得多。此外，我认为他们的训练前的重量应该是有帮助的。

如果它们没有用，我很好奇为什么不。任何关于这个话题的链接都是非常感谢的。

Answer 1

• 使用标准的网络架构是完全合理的。无论如何，大多数鉴别器架构都是众所周知的体系结构的细微不同的变体。
• 根据GAN损耗，从预先训练的网络开始作为鉴别器可能是危险的。例如，经典的GAN损耗最小化了Jensen-Shannon散度，因此，从一开始就有一个强大的鉴别器将意味着几乎不支持重叠，并且从鉴别器没有有用的梯度。这是GANs训练不稳定的一个主要原因。然而，最近的损失(例如，各种WGAN损失)没有这种共同的支持问题。然而，像WGAN这样的损失假设了判别器(即Lipschitz-k)的某些性质，预先训练过的网络不太可能满足这种情况。所以从纯理论的角度来看，我能理解为什么它不是很吸引人。
• 另一个原因，我怀疑是，歧视者的工作是相当专门的，要求它是动态的，也就是说，它必须能够“改变主意”，因为发电机适应。我不清楚的是，一个经过预先训练的网络，人们一直致力于把它放在一个高质量和健壮的重量空间中，是否对此有好处。此外，由于鉴别器的工作比ImageNet分类要简单一些，我怀疑经常用于传递学习的庞大的深网络对于任务来说是不必要的大(我的意思是，落后的甚至向前的传递是不必要的代价；GANs已经花了足够的时间来训练)。
• 也就是说，使用预先训练过的网络来识别感知特征匹配损失是很常见的。(你可能熟悉在自动编码器中常见的“知觉损失”)。其想法是匹配特征统计，而不是优化标量概率(我相信，这个想法来自于Salimans等人 )。请注意，用于此(通常为VGG)的预训练网络大部分时间没有经过训练，甚至没有进行微调；它们通常是单独使用的。相关论文有：[1]、[2]、[3]。我怀疑您总是可以在类似于这些设置的设置中或以McGAN使用的方式使用预先培训过的网络，这将是有帮助的。
• 尽管如此，我确信使用预先培训的网络作为起点在许多情况下仍然会很好，尽管我建议从WGAN变体开始工作。它甚至可能做得很好，取决于数据和其他培训细节。如果你试试看的话，告诉我