在tensorflow中处理RGB图像的SSIM损失函数

Question

我想使用SSIM度量作为我在tensorflow中工作的模型的损失函数。SSIM应该测量我的去噪自动编码器的重建输出图像与输入无损坏图像(RGB)之间的相似性。

据我所知，在tensorflow中使用SSIM度量时，图像应该是规范化的( 0,1或0,255而不是-1,1 )。在将我的张量转换为0,1并将SSIM作为我的丢失函数之后，重建的图像是黑白的，而不是彩色的RGB图像。

tf.reduce_mean(tf.image.ssim(reconstructed, truth, 1.0))

我的模型与MSE (均方误差)很好地工作，重建图像是彩色的。

使用tf.losses.mean_squared_error(truth, reconstructed)重建图像将是RGB图像，而使用SSIM将给我一个一维图像。

为什么在tensorflow中使用SSIM作为损失函数给我的结果与(在重建图像信道方面)不同？

Answer 1

我能够通过将图像的动态范围更改为2.0来解决这个问题，因为我通过以下方法在-1，1之间缩放了图像：

loss_rec = tf.reduce_mean(tf.image.ssim(truth, reconstructed, 2.0))

由于更高的SSIM值显示了更好的图像质量，为了优化我的模型，我不得不最小化损失函数(SSIM)的负：

optimizer = tf.train.AdamOptimizer(learning_rate).minimize(-1 * loss_rec)

Answer 2

SSIM只用于测量两种亮度信号之间的差异。在度量相似度之前，RGB图像被转换为灰度。如果它被反馈到丢失函数中，它将不知道图像是否正在丢失颜色饱和度，因为它不会出现在误差度量中。那只是个理论。

Answer 3

TensorFlow文档说没有应用颜色空间转换。

docs/python/tf/image/ssim

注:真正的SSIM只在灰度上定义。这个函数不执行任何颜色空间转换。(如果输入已经是YUV，那么它将计算YUV SSIM平均值。)