Segmentation》,这篇文章提出的 Pact-Net 网络,完美解决了医学图像分割中 "局部细节看不清、全局范围抓不准" 的痛点,在皮肤病变、息肉、细胞分割任务中全面碾压传统 U-Net 和 Transfuse 每个任务都用了多个公开数据集,结果只能用 "封神" 来形容 —— 全面碾压 U-Net、U-Net++、Transfuse 等 SOTA 模型。 对比结果如下: 模型 DICE(%) IOU(%) U-Net 89.55 83.51 U-Net++ 89.65 83.71 Transfuse 90.26 83.90 Pact-Net(Ours) 90.61 84.71 Pact-Net 的 DICE 达到 90.61%,IOU 达到 84.71%,比 Transfuse 分别高 0.35 和 0.81 个百分点。 87.53 79.28 Pact-Net 的 DICE 达到 87.53%,IOU 达到 79.28%,比 Transfuse 分别高 0.43 和 0.69 个百分点。
这些方法,如TransUNet或TransFuse,以简单的方式将Transformer与U-Net融合,即将Transformer模块插入编码器或融合两个独立分支。
此外,一些研究人员试图通过结合CNN和Transformer的优势来构建混合网络,如UNeXt、TransFuse、MedT和FAT Net。
几篇最近的论文研究了Transformer-卷积架构,例如TransUnet[5],Unetr[11],SwinUnet[10],TransFuse[29],nnFormer[31]。
最近,Transfuse [49] 提出了一个融合模块,用于融合来自两个分支的信息:一个CNN分支,它从局部到全局编码特征,另一个是 Transformer 分支,它从全局自注意力开始,然后恢复局部信息