VAE的潜空间

Question

假设我有一个数据集D = \{a_1,a_2,a_3,...a_n\}，我在它上训练一个基本的变分自动编码器(VAE) (由非线性分隔的两个完全连接的层)。a_1 + a_2和a_1 - a_2 (它们不是数据集D的一部分)的潜在空间是否有特征坐标？

Answer 1

那得看情况。设X是数据的域，即a_i\in X。然后，D是来自X的一个示例，遵循一些发行版P。VAE的目的是对数据的分布进行建模，这样我们就可以从中取样。因此，数据空间X的部分内容将被很好地建模(其中有许多培训示例)，而其他部分则建模得很糟糕。

因此，问题在于a_i+a_j或a_k - a_\ell是否真正形成了“合理”值(即，P的密度不太低)。当然，由于在您的情况下似乎是X=\mathbb{R}^d，VAE将没有编码或解码这些值的问题；问题在于潜在编码是有用的还是明智的。它们不一定在dataset中，但它们不能离它太远。(这个问题区域一般称为域适应)。换句话说，对于X是一个无界向量空间，它将有“特征坐标”，但是它们是有用的还是明智的取决于情况。

例如，假设X是自然图像，而您的a_i's都是向日葵的图像，您可以以像素的方式执行a_\alpha + a_\beta = c，但是c的编码不太可能有一个合理的潜在表示。然而，如果a_i是从单词模型中嵌入的，那么它可能就很好了。

请注意，通常是一个好主意，以评估重建性能的VAE在一个被搁置的测试集(以外的训练数据，但仍然来自相同或类似的P)。因此，我会问自己：a_i + a_j是否可以合理地被认为是测试集的一部分？如果是这样的话，那么是的，潜在的嵌入可能也是可以的。

Answer 2

我想你有兴趣知道模型是否学习输入数据的线性组合的分布。

在高斯隐空间的特殊情况下，编码器估计平均\mu_1，\mu_2和方差\sigma_1^2，\sigma_2^2从a_1和a_2。然后，我们从N(\mu_1, \sigma_1^2)和N(\mu_2, \sigma_2^2)两个发行版中抽取样本。

如果a_1和a_2是独立的，它们的和(差)也是正态分布的，均值等于均值的和(差)，方差等于方差的和。因此，在这种情况下，您可以很容易地从它们的分布参数中推断出表示观测值的线性组合的点。

如果它们不是独立的，它们的线性组合仍然是正态分布的，但是您需要考虑它们的协方差。

VAE是从观测中直接了解到的吗？一般都不是这样的。