GAN公式中期望表示法的解释是什么？

Question

我对GAN损失函数中的期望表示法感到困惑。

鉴频器的GAN损耗为二元交叉熵.这到底是真的还是假的。

real = D(x) (即:给鉴别器一个真实的图像)

D(G(z)) (即:生成一个假图像并询问鉴别器它是什么)

然后，二进制交叉熵是：

log(p) - log (1-p)

当用作GAN损耗时，我们将p替换为“实类”或“假类”。

log(real) - log (1-fake)=\\ log(D(x)) - log (1-D(G(z)))

到目前为止，这还可以(我想哈哈)。

但实际的配方增加了预期的迹象..。我不明白它为什么会在那里。

E_{x~data}log(D(x)) - E_z log (1-D(G(z)))

Answer 1

函数L_a(x) = \log(D(x))\;\;\;\;\&\;\;\;\; L_b(z) = \log(1-D(G(z))) 定义为一个值( x或z)。

我们不想为一个输入优化L_a或L_b，我们希望对所有可能的输入( x和z )将其最小化。假设x\in X\equiv\mathbb{R}^n (例如，通过将它作为图像展开)和z\in Z\equiv \mathbb{R}^m。然后，我们可以编写最小化所有可能的输入，如最小化\int_{\mathbb{R}^n} L_a(x)\,dx 和\int_{\mathbb{R}^m} L_b(z)\, dz。但这是有问题的！事实上，我们不关心，比如说，纯红色图像或电子显微镜显微照片(如果x是图像)，我们只关心“真实”照片，即“自然图像”。因此，与其对所有的X和Z进行优化，我们更愿意对那些“重要”的进行优化。我们通过在X和Z上放置一个概率分布来做到这一点，比如P_x和P_z，从这些分布中抽取的样本给出了我们所关心的x和z值。非自然图像x的概率较低，而狗、猫图像的概率较高。对于GANs，我们通常会提前选择P_z作为均匀或正态分布。(有些人更喜欢说，自然图像在高维空间中形成了一个流形；这个P_x可以被认为是诱导这种结构的。)

但是如何优化这些“可能”的图像。最明显的事情就是优化这些密度的期望值。换句话说，我们希望优化L_a和L_b的值，如果我们在从P_x和P_z提取的样本上计算它们，我们就会得到它们。这是对所有数据空间的加权平均值，其中权重是通过看到该数据点的概率来确定的：

\mathbb{E}_{x\sim P_x}[L_a(x)] = \int_X L_a(x) p_x(x)\, dx \;\;\;\;\&\;\;\;\; \mathbb{E}_{z\sim P_z}[L_b(z)] = \int_Z L_b(z) p_z(z)\, dz

在实际中，这个积分(期望)被小批上的和或平均值近似。

总之，我们添加期望是因为我们关心如何跨越所有“重要”的x和z值，而不仅仅是一个。

这个职位中的解释也可能是有用的。