生成对抗性文本到图像合成

Question

有人能解释这句话的含义吗？“深层网络已经被证明可以学习嵌入对之间的内插趋于接近数据流形的表示”。

参考资料:论文生成对抗性文本到图像合成第4.3节

Answer 1

这个句子里有几个重要的概念，所以让我们把它们分解一下。

“数据流形”

这是我们在机器学习问题中通常使用的一个模型，即将实际数据作为一个流形来考虑。我建议你本文作者是克里斯托弗·奥拉( Christopher )。

“嵌入对之间的插值”

生成新数据的一种方法是对神经网络学习的嵌入空间进行采样。例如，您可以获取两个真实的数据样本，计算它们的嵌入，插值它们以获得中间嵌入，然后在此中间嵌入时查看您的神经网络的输出。

“嵌入对之间的插值倾向于靠近数据流形”

按照前面的步骤，你的神经网络的输出应该是真实的。在数学上，它应该接近真实的数据流形。

这是生成模型，如生成对抗性网络或变分自动编码器的主要观点。他们学会将一些随机分布(通常是高斯分布)拟合到实际数据分布中，并学会将噪声“转换”为真实数据，反之亦然。

这常被称为“解纠缠”。正如在句子后面的文章引用的第一篇论文中所解释的，

更深层次的表象，如果经过良好的训练，往往能更好地解开潜在的变异因素。

换句话说，我们可以获得深入的嵌入，以隔离实际数据变化的因素。理想情况下，嵌入人脸可以隔离控制头发颜色、嘴巴表情等的轴(比如TL-GAN )。但这些变化因素并不总是那么容易解释。