Masked Mamba: 基于Mamba的病理图像分类的自监督框架

论文信息

题目：Masked Mamba: An Efficient Self-Supervised Framework for Pathological Image Classification

Masked Mamba: 病理图像分类的高效自监督框架

本文为ICRL 2025的投稿论文，处在匿名评审阶段，因此暂时无作者信息

论文创新点

Masked Mamba是一种为病理图像分类设计的高效自监督框架，其创新点主要包括以下四个方面：

1. 自监督分类框架：作者提出了一个创新的自监督分类框架Masked Mamba，它在多个公开数据集上实现了分类性能的新基准，展示了在病理图像分类任务中的卓越能力。
2. 多尺度结构块模块：为了增强模型对全局上下文细微差别和广泛空间相关性的把握能力，作者设计了一种新颖的多尺度结构块模块，显著提升了分类器的区分能力。
3. 状态空间模型（SSM）的集成：作者巧妙地将基于SSM的组件集成到框架中，通过使用深度可分离和常规卷积作为传统因果卷积的替代品，重新发明了空间特征的提取和序列化，实现了更鲁棒的特征表示。
4. Patch Ghosting策略：针对病理图像的染色和切片变异性，作者提出了Patch Ghosting策略，它通过生成鼓励模型捕获相似细胞多样化特征表示的特征图，有效地减少了对特定病理区域的过度依赖，并加速了模型的收敛。

摘要

病理图像分类是病理成像领域中的一项挑战性任务。高质量标注图像的稀缺性、病理样本之间的高度相似性、对特定区域的重度依赖性以及染色切片的变异性都是对分类器性能的考验。最近，基于Mamba模型在各种任务中获得了前所未有的关注，并取得了卓越的性能。然而，在病理分类中使用视觉Mamba并没有解决上述挑战。因此，作者提出了一种名为Masked Mamba的新架构，它在低成本推理和鲁棒分类性能方面具有显著优势。它基于两个核心设计。首先，作者开发了一种基于卷积的Patch Ghosting，通过引入相似特征图的残差连接来增强分类网络获取特定局部区域特征的能力以及捕获多尺度特征的能力。此外，作者研究了Masked Autoencoders（MAE）和State Space Modules（SSM）的集成，以进一步强调图像中局部特征，并从不同的染色和切片条件下提取鲁棒的特征表示，以补偿高质量标注图像的缺乏。作者使用四个公开可用的病理图像数据集验证了算法的性能。实验结果表明，作者在这些数据集上实现了State-of-the-Art的成果。

3 方法

3.1 Masked Mamba

3.1.1 预训练流程

Masked Mamba预训练的详细程序在图1中描绘。

Masked Mamba预训练的实现是直接的，可以抽象地由以下方程表示：

3.1.2 Masked Mamba编码器

其中Linear表示线性变换层，SSD指的是选择性扫描操作，代表激活函数，Sep-Conv1D是深度可分离卷积，Reg-Conv1D表示一维常规卷积操作，Concat表示连接操作。

Patch Ghosting。由于病理图像的染色和切片，图像的一致性可能会受到影响，高度相似的细胞使得分类任务比一般分类任务更加困难。因此，作者设计了一种新颖的补丁合并策略，称为Patch Ghosting，考虑到计算成本和特征表示能力。与传统ViT模型中使用的线性和Swin Transformers中使用的滑动窗口下采样不同，Patch Ghosting基于卷积操作、线性和残差连接的组合。如图2所示，作者比较了Swin Transformer中的Patch Merging与我们的Patch Ghosting。Patch Merging通过下采样技术合并相邻补丁来降低特征图的分辨率。然而，病理图像的分辨率常受染色和切片的影响，这可能限制了它们的表示。因此，我们的Patch Ghosting生成鼓励模型捕获相似细胞的多样化特征表示的特征图。此外，使用残差连接加速了模型的收敛。

3.2 Masked Mamba迁移

4 实验结果