GANs与灰度图像彩色化

Question

作为硕士实习的一部分，我目前正在研究灰度卫星图像的彩色化。在寻找了各种机器学习技术之后，我很快决定深入学习，因为彩色化过程可以完全自动化，并取得了很好的效果。我培训了各种各样的模型和体系结构(CNN、Pix2Pix、DCGANs和WGANs具有UNet或剩余体系结构等)。并用卷积cGANs (条件:灰度图像；输出:彩色图像)解决，但每次都面临同样的问题。的确，当训练我的网络，输出是相当正确的，但总是给我灰色屋顶。

我认为这与像素值的分布有关，因为在我的地理区域，屋顶通常是橙色或黑色的。许多文章指出GANs容易出现模式崩溃的事实。在这种情况下，有两个模式(橙色和黑色)，可能导致一个坏的局部平衡。

为了改进培训和/或避免模式崩溃，我尝试了许多不同的技术：

• 发电机的L1损耗正则化
• 标号平滑
• 从正态分布中提取的噪声并连接到发生器/鉴别器中的每一层
• 发电机中某些层的脱落
• 梯度惩罚
• 学习过程受巨龙和巨龙的启发

到目前为止，梯度点球给了我最好的结果，尽管仍然有这些灰色的屋顶。我知道还有其他改善训练程序的方法(例如批量歧视)，但我没有数学或计算机科学的先决条件，也没有时间实施这些技术。

我想知道是否有人有一些想法，以获得更好的结果，或是否有人也尝试着色卫星图像，并最终有这样的问题。

谢谢你看了这么长的留言。

祝你今天愉快！

Answer 1

色彩，特别是管理过度灰色的输出，在像素2pix纸中涉及到，在第4.2节中。可能值得尝试他们的配方的条件GAN，因为他们的结果表明，他们的目标函数是有用的，以产生更多样化的一组颜色。