每像素多个标签图像的语义分割

Question

我正在为皮肤病的多类信号分割建立一个模型。现在我正在使用U-Net进行二进制分类。

在这个多类问题中，我有以下情况。皮肤损伤有四种类型。每一种皮肤损伤类型都有四种程度的损伤:健康，轻度，中度，重度。健康皮肤为A0_B0_C0_D0，“轻度b和重度c”对应于A0_B1_C3_D0。我想训练一个单一的多类模型来预测字典{A: scoreA，B: scoreB，C: scoreC，D: scoreD}。鉴于此，

4(伤害类型)**4(伤害程度)= 256组合

我需要训练一个256级的模型吗？我担心的是，我的训练集中只有200张图片，其中一些组合将根本不会出现在训练集中。是否有一种方法来训练一个12级模型，返回每种损伤类型对应的最可能的损伤类型的四个值？

更新。考虑一下rgb图像。您希望将每个颜色通道的亮度按类别分类。

Intensity   class
 0-63 -> "0"
64-127 -> "1"
128-191 -> "2" 
192-255 -> "3" 

然后每个像素属于64个类中的一个(r0g0b0、r0g0b1、.、r3g2b2、r3g3b3)。训练集有颜色r0、r1、r2、r3、g0、g1、g2、g3、b0、b1、b2、b3等像素，但没有颜色r0g1b2或颜色r2g3b0像素。三个单独的模型(每个通道一个)将很容易地学会预测通道类别，但它不会在64个类模型中输出r0g1b2和r2g3b0类，因为它从未见过这些类。如何克服这个问题？

Answer 1

三个单独的模型(每个通道一个)将很容易地学会预测>通道类别，但它不会在64个类模型中输出r0g1b2和r2g3b0类，因为它从未见过这些类。如何克服这个问题？

解决这个问题的唯一方法是对每个像素使用通道(每个皮肤损伤类型一个)，并将其视为一个回归而不是一个分类。

换句话说，使用多输出回归。

对于输出，使用一个卷积层，提供与输入相同的行数和列数，但提供4个通道(每个皮肤损伤类型一个)。

您的地面真相(y_true)应该是一个与输入相同的宽度和高度的数组，但是有4个通道(每个皮肤损伤类型一个)，每个通道保持相应皮肤损伤类型的该像素的严重等级。

您的损失函数可以用于回归，如MAE (平均绝对误差)。

这是因为分类将为它从未见过的样本类输出0，因为这就是将损失降到最低的原因。另一方面，回归会将目标变量视为连续变量，即使它还没有看到A型皮肤损伤的所有严重程度的例子(例如)，它仍然可以输出它们。

然后，可以选择阈值将输出分类为相应的标签。

例如。每输出<0.5为0，>0.5为1，>1.5为2，>2.5为3，>3.5为4

所以0.1、1.6、0.7、5的意思是{A: 0，B: 2，C: 1，D: 4}

这在临床中也更有用，也更容易理解，因为严重程度是顺序的，而不仅仅是绝对的，所以医生最好知道某一特定的轻微病例(例如)的预测值为1.4，而不是0.6，因为它们都与轻微的预测相对应，但1.4更接近于中度，并且可能与0.6的预测不同。

从学习和研究的角度来看，这是一个有趣的问题，但我利用一家大型制药/生命科学公司的医学图像，开发了基于深度学习的预测和诊断模型，并可以告诉你，一个200幅图像的数据集对于这个复杂的任务来说，将不足以提供良好的性能或可靠的结果。多方面的培训/验证/测试和一些轻微的图像增强是必要的，但可能仍然不够。