基于CNN的多图像超分辨率研究

Question

我正在编写一个程序，它可以以多个低分辨率图像作为输入，并输出高分辨率图像。

我的理解是，对于单个图像的超分辨率，卷积神经网络工作得很好。我只需要一个只有三个卷积层的网络，就像这里描述的那样。然后，我可以用大量的低分辨率图像和它们对应的高分辨率图像(具有均方误差代价函数)来训练网络，理论上应该是可行的。

不过，如果我想获得更高的精度，我可以通过查看多幅低分辨率图像来获得更多关于潜在的高分辨率图像的信息。

因此，我的问题是:如何修改这个基于神经网络的算法，使其能够以多幅图像(同一对象)作为输入，从而输出更精确的高分辨率图像？我会假设这要复杂得多，因为多幅图像可能会以一个像素的零头，或者从一个稍微不同的角度拍摄。

(对不起，如果我说的是不正确的话；我对这个领域几乎一无所知，所以任何建议都有帮助！)

Answer 1

我会假设这要复杂得多，因为多幅图像可能会以一个像素的零头，或者从一个稍微不同的角度拍摄。

我同意你的分析，这个问题提出了不同的挑战，比单一图像的超级分辨率。

在单个图像的情况下，我们确切地知道输出图像中的所有内容应该在哪里，因为它只是输入的一个更高分辨率的版本。

那么，为什么不尝试把这个想法扩展到你的案件中呢？以下是你如何做到这一点：

• 将每个低分辨率图像和输出图像的一个低分辨率版本串联起来，作为每个培训和测试示例。
• 对于预测，将每个低分辨率图像连在一起，并复制其中一个以指定输出的所需方向。

因此，如果在每个训练示例中都有n 3通道h x w输入图像，则输入形状应为(h, w, 3*(n+1))。

这应该给网络提供足够的信息来学习正确的转换。