我一直试图实现DCGan,脸书的论文,并被以下两个问题几乎两个星期。如有任何建议,将不胜感激。谢谢。
第1期:
DCGAN文件建议同时使用BN(批归一化)生成器和鉴别器。但是,我不能得到更好的结果与BN,而不是w/out BN。
我复制了我使用的DCGAN模型,这与DCGAN论文完全一样。我不认为这是因为太合适了。因为(1)它总是用原始的噪声图像来显示噪声,而且似乎从未受过训练。(2) gan和甄别器均未发生真正的变化,损耗值非常稳定。(它停留在0.6 ~ 0.7之间,从未像两种型号崩溃时那样感到沮丧或颠簸。)如果我只检查损失函数,它似乎正在得到良好的训练。
第2期:
当我使用float16时,它总是给我南和下面的模型。我把epsilon改成了1e-41e-3,但都失败了。这里还有一个问题。如果我不使用BatchNormalization,它可能是南。够了,我能理解。但是,如果我使用BatchNormalization,它在每一层都会规范化。即使结果变成很大的数字或非常小的数目,它将在每一层的批归一化,结果将几乎中心和淡出不应该发生。难到不是么?这其实是我的想法,但我不知道我想错了什么。拜托,谁来帮帮我。
=====发生器=====
输入#(无,128) <=潜伏
稠密#(无,16384)
BatchNormalization
LeakyReLU
重塑#(无,4,4,1024)
Conv2DTranspose #(无,4,4,512)
BatchNormalization
LeakyReLU
Conv2DTranspose #(无,8,8,256个)
BatchNormalization
LeakyReLU
Conv2DTranspose #(无,16,16,128)
BatchNormalization
LeakyReLU
Conv2DTranspose #(无,32,32,64)
BatchNormalization
LeakyReLU
Conv2DTranspose #(无,64,64,32)
BatchNormalization
LeakyReLU
Conv2DTranspose #(无,128,128,16)
BatchNormalization
LeakyReLU
Conv2D #(无,128,128,3)
=====鉴别器=====
Conv2D #(无,128,128,3) LeakyReLU
Conv2D #(无,64,64,16) BatchNormalization
辍学
LeakyReLU
Conv2D #(无,32,32,32)
BatchNormalization
辍学
LeakyReLU
Conv2D #(无,16,16,64)
BatchNormalization
辍学
LeakyReLU
Conv2D #(无,8,8,128)
BatchNormalization
辍学
LeakyReLU
Conv2D #(无,4,4,256个)
BatchNormalization
辍学
LeakyReLU
Conv2D #(无,2,2,512)
BatchNormalization
辍学
LeakyReLU
展平
辍学
密集
我尝试过的最后一个超参数如下,我没有忘记将高斯噪声添加到训练图片中。
image_shape => (128, 128, 3)
latent_dim => 128
channels => 3
iterations => 10000
batch_size => 128
epsilon => 0.005
weight_init_stddev => 0.02
beta_1 => 0.5
discriminator_lr => 0.0002
gan_lr => 0.0002发布于 2019-10-14 13:05:28
我不知道DCGAN论文的细节,但是如果我研究一下它,我可以找到下面的指导方针来建立稳定的DCGAN。为什么在生成器中使用LeakyReLU而不是ReLU
稳定的深卷积GANs的体系结构指南
发布于 2019-10-17 08:19:57
众所周知,批标准化的学习伪代码是
moving_mean = None;
moving_variance = None;
if not moving_mean:
moving_mean = current_batch_mean
else:
moving_mean = moving_mean * momentum + current_batch_mean * (1-momentum)
if not moving_variance:
moving_variance = current_batch_variance
else:
moving_variance = moving_variance * momentum + current_batch_variance * (1-momentum)这就是重点。
tensorflow和keras的默认动量是0.99,如果您不修改就使用它,下面的更新值不会影响新更新的值。在喷炬的情况下,默认动量为0.1,这与tensorflow或keras中的0.9相同。
通过修正动量值,得到了改进的结果。
如果有人像我一样遭受过类似的痛苦,试着降低动量值。
谢谢。
发布于 2020-12-07 10:56:41
在鉴别器中使用SpectralNorm,在生成器中使用SelfModulationBatchNorm。如果有标签,也可以使用ConditionalBatchNorm。
代码,帮助其他方法和GAN培训可以找到这里。
https://stackoverflow.com/questions/58376226
复制相似问题