VAE中的KL散度

Question

如果我正确理解，KL-散度是两个分布的相对熵。要计算两个分布的KL散度，需要两个随机变量向量。

我不明白的是，如何计算VAE (潜空间向量和N(0,1) )中的KL散度，正如许多教程中所述。

潜空间向量不是随机变量的向量。它是输入、权值、偏差和激活函数的乘积向量。所有这些都不会使你的向量成为随机变量向量。我的问题是，如何正确地将潜在空间向量创建为随机变量向量，这样最终就可以计算出KL散度。

Answer 1

你说得对，编码器神经网络的输出不是随机变量，这是潜在随机变量的均值\mu和标准差\sigma。例如，如果编码器的输出是\sigma = 1和\mu = 0.5，那么潜在的随机变量将是正常的，均值为0.5，标准差为1。在许多教程中，您可以计算出随机变量和潜在随机变量(即\mathcal{N}(0, 1) )之间的KL散度。