图像超分辨率连接子图像

Question

我在处理地形高度数据的图像超分辨率。目前，我正在将输入数据切割成较小的部分(20x20而不是10800 x10800)。

在高级20x20 -> 40x40之后，将产生的图像拼凑在一起会在较小的部分的边界上产生工件。这是因为模型的输出没有很好地结合在一起(我们使用输出来运行模拟，因此它们无缝地匹配是很重要的)。

是否有推荐的方法将这些较小的图像拼接在一起？或者，是否有更好的方法来解决这个问题，而不是使用这些较小的削减图像？

Answer 1

您可能会看到这些工件，因为您的模型没有立即看到那些像素在您的瓷砖外面，因此不知道如何“混合”东西。(我假设您的瓷砖具有与输入大小相等的步幅)

我见过的一种典型的方法(也是我自己使用的)是，在推断的时候，只保留每个瓷砖的中心部分，然后有重叠的窗口，这样您就可以“填充空间”。

重叠越多(使用的输出越少)，工件就越不明显(或在我的经验中)，但是需要更多的计算。

我在漫画中的意思是：

当前情况(如我所设想的)：

input tile1 #####----------

input tile2 -----#####-----

output tile1 ##########--------------------

output tile2 ----------##########----------

我的建议：

在这里，对于输出，#表示那里的值被复制到输出中，而*表示模型在那里进行预测，但是它没有被使用。

input tile1 #####----------

input tile2 ---#####-------

output tile1 **######**--------------------

output tile2 ------**######**--------------

如果你同意这个想法，你甚至可以简化模型，这样它就不会试图在你会忽略的地方做预测。

如果事情需要澄清，请发表评论。