如何进行三通道图像体素明智求和(医学图像)

Question

当您看到图像时，在这里输入图像描述。

假设从三维CNN模型的最后一层(如nnunet)到左肺、右肺和背景预测了三种通道图像。

我想在网络中添加一个辅助层，它只对左右肺预测图像通道进行体素化总结。

然而，我只知道图像通道的概念，因为RGB颜色是3通道图像，1通道图像只有光和影，所以我不知道左、右肺通道和背景通道的概念。你能告诉我这个渠道概念的原理，并告诉我如何进行上面的工作吗？

        x = self.conv_blocks_context[-1](x)

        for u in range(len(self.tu)):
            x = self.tu[u](x)
            x = torch.cat((x, skips[-(u + 1)]), dim=1)
            x = self.conv_blocks_localization[u](x)
            seg_outputs.append(self.final_nonlin(self.seg_outputs[u](x)))

        if self._deep_supervision and self.do_ds:
            return tuple([seg_outputs[-1]] + [i(j) for i, j in
                                              zip(list(self.upscale_logits_ops)[::-1], seg_outputs[:-1][::-1])])
        else:
            return seg_outputs[-1]

也许seg_outs-1来自nnunet的最后一层，所以我想我应该在这个部分添加辅助层。

Answer 1

是的，seg_outs-1是您正在寻找的图层。我试着解释这一层的概念。假设这一层的形状是B(atch) x C(hannel) x D(epth) x H(8)x(Idth)，您要理解的概念是C。在您的语义分段示例中，C == 3 (可能取决于您的代码)c是背景logit，c1是左肺logit，c2是右肺logit。维数C的Argmax给出了分割结果。要继续工作，您想要的输出是seg_puts-1.sum(dim=1，keepdim=True)，如果您仍然需要背景日志，只需连接到后台通道即可。