如何训练具有多个掩码的语义分割模型？

Question

我正在做一个关于医学概念中的语义分割的项目，每个图像都有多个面具，每个面具在人眼中显示不同的疾病，现在我不知道如何用多个面具来训练我的模型。我应该先堆叠口罩，否则我会丢失关于不同疾病的信息，我应该如何将这些信息提供给我的模型？

Answer 1

在你训练你的模型之前，你需要先想一想以后你想如何使用它。在测试时，您希望模型每个输入图像输出多少个掩码？如果您希望您的系统输出多个掩码，那么您应该训练一个具有多个二进制输出“头”的网络。或者，如果您希望模型输出带有不同疾病标签的单个掩码，那么您应该使用单个分类头来训练模型，但是每个像素具有多个类别。