如何训练好一个GAN模型

好事发生

推荐文章：https://cloud.tencent.com/developer/article/2470928?shareByChannel=link

这篇文章详细介绍了如何在 Linux Ubuntu 系统中使用 Docker 部署 Paint Board，并结合 cpolar 内网穿透工具实现远程访问。以下是推荐理由：

• 实用性强：文章提供了从环境准备、代码下载、镜像构建到容器运行的完整步骤，适合希望在本地搭建 Paint Board 的用户。
• 工具结合：通过引入 cpolar 内网穿透工具，解决了本地服务无法被外网访问的问题，拓展了 Paint Board 的使用场景。
• 图文并茂：文章配有详细的截图和命令行示例，便于读者理解和操作。
• 适用广泛：无论是个人用户还是团队协作，都可以通过该方法实现远程访问本地部署的 Paint Board，提升工作效率。

总而言之，这篇文章为希望在 Linux 环境下部署并远程访问 Paint Board 的用户提供了清晰、实用的指导，值得推荐。

GAN在提出之后，一直很火。但是其存在诸多的难点，首先难以平衡G（生成器）和D（判别器）之间的训练，同时容易造成模型坍塌。因此在训练GAN时会很难。

1.软标签和noise标签

这一点在训练判别器时极为重要。使用硬标签（非 1 即 0）几乎会在早期就摧毁所有的学习进程，导致判别器的损失迅速趋近于 0。可以采用一个 0-0.1 之间的随机数来代表「标签 0」（真实数据），并使用一个 0.9-1 之间的随机数来代表 「标签 1」（生成数据）。在训练生成器时则不用这样做。

此外，添加一些带噪声的标签是有所帮助的。将输入给判别器的图像中的 5% 的标签随机进行了反转，即真实数据被标记为生成数据、生成数据被标记为真实数据。

2.调整交叉训练

每训练一次判别器，训练K次生成器；这样可以充分让生成器在前期进行学习。

3.修改损失函数

• 在GAN论文里用min (log 1-D)优化生成器，实际上max（log D）更好
• 实际代码中用反转标签来训练G更方便，即把生成数据当成real的标签来训练
• 现在有很多针对损失函数进行修改的模型：

3.1 WGAN

使用了Wasserstein损失，去掉了判别器最后一层的sigmoid和log，直接优化Wasserstein距离，但是WGAN需要对判别器做Weight Clip，比较麻烦，而且不能用动量优化（包括momentum和Adam），通常使用RMSProp来优化WGAN

3.2 WGAN-GP

改进了WGAN中的weight clip（权重截断），基于梯度惩罚的loss替代WGAN中的Weight Clip，从而产生比WGAN更高质量的样本，这个loss是可以用Adam来优化的。

4.考虑数据标签任务（分类任务）

• ACGAN

如上图所示，ACGAN相对于GAN不同点在于：

（1）GAN只有Z即噪声作为输入变量，ACGAN多了一个分类变量

（2）GAN输出只有判定数据真假判断，而ACGAN除了真假外增加了类别判断

5.梯度查看

在模型训练时，需要通过梯度来观察整个模型是否有学习到，可以通过其梯度进行观察

（1）判别器顶层梯度

（2）生成器顶层梯度

判别器一开始就接受了高梯度更新，导致判别器一开始的判别能力已经很强了；而生成器一开始的只接受较少的梯度用于更新参数，导致生成器效果较差。

利用上面的方法修改过后，生成器一开始可以接受大的梯度进行更新，同时梯度分布来看更加集中。