利用生成对抗性网络生成图像层

Question

有没有人看到过使用GAN的应用程序，它可以获取输入图像并输出相同大小的图像，可以用作第一张图像的图层。这一层将包含在例如。输入图像的兴趣点。这会不会是使用GAN的一个好做法呢？

我正在寻找文章，应用程序的例子，使用类似的东西。

Answer 1

就生成图像“层”而言，这与生成可以使用标准图形软件覆盖在输入上的输出图像相同。如果您想要输出像素级的精度，那么输出将需要与输入相同的大小，否则它可能更小，只要它是相同的纵横比，在这种情况下，它将需要放大，以便作为一个覆盖。在任何情况下，由于GAN的输出可以是图像(而且通常是图像)，那么这个部分就很容易。

GAN中的"G“代表”生成“。生成网络的目的是从人口中创建样本，在那里通常有许多可能性。这些样本可以以一些额外的数据为条件，而额外的数据可能是图像，尽管许多示例将更简单地限定条件，例如培训产出所代表的类别。

使用GAN的一种可能是，你的种群包含一系列特征，你可以计算出控制这个特征的载体。所以你可以拍摄一个输入图像，在GAN中重建它，然后通过加/减特征相关向量来修改它。这方面的一个有趣的例子是基于条件生成对抗网络的人脸老化，类似的例子有添加/移除眼镜等。为了让它对你有用，你需要有你感兴趣的和没有它们的图像，然后你就可以控制加/移除感兴趣的点。网络不会在输入中检测到这些点，而是将它们添加到输出中。从阅读你的问题，这似乎不是你想要的。

然后，一个类似的论文使用GAN来去除照片中的雨水，这是基于训练许多有雨和没有雨的图像.学习“雨矢量”，将新图像中的雨水编码到GAN的内部表示中，并减去这个“雨矢量”。

基于输入图像(相对于类别或内部嵌入)的GANs也是可能的--这个图像完成示例可能更接近您的目标。如果你的兴趣点是可变的，有许多可行的选择，那么它可以为你工作。

但是，如果您的感兴趣点在每幅图像中始终是相同的像素，那么您的目标可能会更好地由严格的背景真相来定义，并变得更像语义分割，这可以通过CNN上的变化来尝试，比如本文由微软公司介绍。。这些设置和训练比GANs容易得多，因此，如果您能够合理地将您的问题从原始图像构建为像素分类，这可能是一条道路。