图像语义分割结果的可视化

Question

我试图了解如何向用户显示图像分割结果。

我的意思是如果我有这个形象：

​

我想向用户展示这个结果：

​

这些图片来自于这个Github。我已经检查了他们的代码，但是我没有找到他们向用户显示结果的地方。

如何向用户显示语义分段？

Answer 1

语义分割网络的输出是什么？

UNet (示例中的一个)以及处理语义分割的所有其他网络都产生一个图像作为输出，该图像的大小与输入图像成比例，中的每个像素被归类为指定的的可能类之一。

对于二进制分类，通常的原始输出是具有[0,1]值的单通道浮点图像，为了获得“前景”二进制掩码，必须在0.5上进行阈值处理。网络也有可能通过两个类(前台/背景)进行隐式训练，在这种情况下，继续阅读如何处理多类分类输出。

对于多类分类，原始输出图像有N个通道，每类一个，在索引[x, y, c]处的值是像素的分数(把它看作像素x,y属于c类的概率，尽管原则上分数不一定是概率)。对于每个像素，所选的类是得分最高的通道之一。

然后，可以对图像进行后处理(例如，将其扁平化并分配给“赢”类的每个像素类标签)，就像您链接的示例一样(如果您查看labelVisualize()的实现，它们会使用dict将类代码映射到颜色)。