首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >BatchNormalization的不良结果

问BatchNormalization的不良结果
EN

Stack Overflow用户
提问于 2019-10-14 11:53:44
回答 3查看 1.5K关注 0票数 2

我一直试图实现DCGan,脸书的论文,并被以下两个问题几乎两个星期。如有任何建议,将不胜感激。谢谢。

第1期:

DCGAN文件建议同时使用BN(批归一化)生成器和鉴别器。但是,我不能得到更好的结果与BN,而不是w/out BN。

我复制了我使用的DCGAN模型,这与DCGAN论文完全一样。我不认为这是因为太合适了。因为(1)它总是用原始的噪声图像来显示噪声,而且似乎从未受过训练。(2) gan和甄别器均未发生真正的变化,损耗值非常稳定。(它停留在0.6 ~ 0.7之间,从未像两种型号崩溃时那样感到沮丧或颠簸。)如果我只检查损失函数,它似乎正在得到良好的训练。

第2期:

当我使用float16时,它总是给我南和下面的模型。我把epsilon改成了1e-41e-3,但都失败了。这里还有一个问题。如果我不使用BatchNormalization,它可能是南。够了,我能理解。但是,如果我使用BatchNormalization,它在每一层都会规范化。即使结果变成很大的数字或非常小的数目,它将在每一层的批归一化,结果将几乎中心和淡出不应该发生。难到不是么?这其实是我的想法,但我不知道我想错了什么。拜托,谁来帮帮我。

=====发生器=====

输入#(无,128) <=潜伏

稠密#(无,16384)

BatchNormalization

LeakyReLU

重塑#(无,4,4,1024)

Conv2DTranspose #(无,4,4,512)

BatchNormalization

LeakyReLU

Conv2DTranspose #(无,8,8,256个)

BatchNormalization

LeakyReLU

Conv2DTranspose #(无,16,16,128)

BatchNormalization

LeakyReLU

Conv2DTranspose #(无,32,32,64)

BatchNormalization

LeakyReLU

Conv2DTranspose #(无,64,64,32)

BatchNormalization

LeakyReLU

Conv2DTranspose #(无,128,128,16)

BatchNormalization

LeakyReLU

Conv2D #(无,128,128,3)

=====鉴别器=====

Conv2D #(无,128,128,3) LeakyReLU

Conv2D #(无,64,64,16) BatchNormalization

辍学

LeakyReLU

Conv2D #(无,32,32,32)

BatchNormalization

辍学

LeakyReLU

Conv2D #(无,16,16,64)

BatchNormalization

辍学

LeakyReLU

Conv2D #(无,8,8,128)

BatchNormalization

辍学

LeakyReLU

Conv2D #(无,4,4,256个)

BatchNormalization

辍学

LeakyReLU

Conv2D #(无,2,2,512)

BatchNormalization

辍学

LeakyReLU

展平

辍学

密集

我尝试过的最后一个超参数如下,我没有忘记将高斯噪声添加到训练图片中。

代码语言:javascript
复制
image_shape => (128, 128, 3)
latent_dim => 128
channels => 3
iterations => 10000
batch_size => 128
epsilon => 0.005
weight_init_stddev => 0.02
beta_1 => 0.5
discriminator_lr => 0.0002
gan_lr => 0.0002
EN

回答 3

Stack Overflow用户

发布于 2019-10-14 13:05:28

我不知道DCGAN论文的细节,但是如果我研究一下它,我可以找到下面的指导方针来建立稳定的DCGAN。为什么在生成器中使用LeakyReLU而不是ReLU

稳定的深卷积GANs的体系结构指南

  • 用分步卷积(判别器)和分式条纹卷积(发生器)代替任何池层。
  • 在生成器和鉴别器中使用批规范。
  • 为更深层次的架构移除完全连接的隐藏层。
  • 在生成器中对所有层使用ReLU激活,输出层除外,输出层使用Tanh。
  • 在所有层的鉴别器中使用LeakyReLU激活
票数 1
EN

Stack Overflow用户

发布于 2019-10-17 08:19:57

众所周知,批标准化的学习伪代码是

代码语言:javascript
复制
moving_mean = None;
moving_variance = None;

if not moving_mean:
  moving_mean = current_batch_mean
else:
  moving_mean = moving_mean * momentum + current_batch_mean * (1-momentum)

if not moving_variance:
  moving_variance = current_batch_variance
else:
  moving_variance = moving_variance * momentum + current_batch_variance * (1-momentum)

这就是重点。

tensorflow和keras的默认动量是0.99,如果您不修改就使用它,下面的更新值不会影响新更新的值。在喷炬的情况下,默认动量为0.1,这与tensorflow或keras中的0.9相同。

通过修正动量值,得到了改进的结果。

如果有人像我一样遭受过类似的痛苦,试着降低动量值。

谢谢。

票数 0
EN

Stack Overflow用户

发布于 2020-12-07 10:56:41

在鉴别器中使用SpectralNorm,在生成器中使用SelfModulationBatchNorm。如果有标签,也可以使用ConditionalBatchNorm。

代码,帮助其他方法和GAN培训可以找到这里。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58376226

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档