目录 nnU-Net 简介 环境安装 数据集准备 数据预处理 模型训练 模型推理 结果可视化 常见问题 1. nnU-Net 简介 1.1 什么是 nnU-Net? nnU-Net (no-new-UNet) 是一个用于医学图像分割的自适应深度学习框架,由德国癌症研究中心(DKFZ)开发。 它对应的论文为:2020年12月《nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation 》和2024年7月《nnU-Net Revisited: A Call for Rigorous Validation in 3D Medical Image Segmentation》 1.2 核心优势 2.3 环境变量设置 nnU-Net 需要三个环境变量来指定数据存储路径: # 创建项目目录 mkdir -p ~/nnUNet_workspace cd ~/nnUNet_workspace # 设置环境变量
值得注意的是,nnU-Net去掉了在学界提出的花哨的网络结构,而仅仅依赖于嵌入在鲁棒的训练方案中的朴素U-Net结构。nnU-Net在六个得到公认的的分割挑战中实现了最先进的性能。 介绍 ? 本文试图朝这个方向迈出第一步:我们提出了no-new-Net(nnU-Net),一种包含自动适应新数据集的分割方法。基于对数据集的自动分析,nnU-Net自动设计并执行网络训练流程。 nnU-Net在医学十项全能分割挑战赛(第一阶段和第二阶段)以及另外五个流行的医学分割挑战进行了评估。所有挑战赛结果如表格1所示。 ? 图1所示:nnU-Net在各个医学分割数据测试集的性能。 我们介绍了nnU-Net,一个可以自动适应任何给定数据集而无需用户干预的医学分割框架。据我们所知,nnU-Net是第一个尝试形式化数据集之间需要进行的必要调整的分割框架。 nnU-Net在六个公开的分割挑战中实现了最先进的性能。这是非常了不起的,因为nnU-Net不依赖于近年来提出的各种复杂的分割结构,而只依赖于简单的U-Net结构。
关键词:nnU-Net、Ki-67、免疫组化、细胞分割、深度学习、病理图像分析1. 1.2 nnU-Net 框架简介nnU-Net(no-new-Net)是由德国癌症研究中心(DKFZ)开发的自动化医学图像分割框架。 数据预处理与格式转换3.1 理解 nnU-Net v2 数据格式nnU-Net v2 要求数据按照特定格式组织。 总结本文详细介绍了使用 nnU-Net 框架进行 IHC Ki-67 细胞分割与分类的完整流程:数据准备:将 BCData 点标注转换为 nnU-Net 所需的分割掩码格式环境配置:设置必要的环境变量数据预处理 :利用 nnU-Net 的自配置能力自动完成模型训练:支持多种配置和训练策略推理评估:获得最终的细胞分割结果nnU-Net 的自配置能力大大简化了医学图像分割任务的开发流程,使研究者能够专注于数据准备和结果分析
这篇论文研究了在3D医学图像分割领近年引入了许多新的架构和方法,但大多数方法并没有超过2018年的原始nnU-Net基准。 以下是一些关键的性能提升数据及其与以前研究的比较: nnU-Net 及其变体的性能: 原始 nnU-Net 在不同数据集上的DSC分数:BTCV (83.08%), ACDC (91.54%), LiTS 数据集上,nnU-Net ResEnc XL 达到了 88.67% 的 DSC 分数。 这表明 MedNeXt 在大多数数据集上的性能优于原始 nnU-Net 和其他变体。 这些变体在nnU-Net的框架内进行了特定的调整以适应更广泛的应用场景。 nnU-Net (原始): 架构:基于经典的U-Net架构,使用标准的卷积层、池化层和上采样层。
一、官方说明 How to use 2D data with nnU-Net nnU-Net was originally built for 3D images. And also on 2D segmentation tasks nnU-Net cam perform extremely well! paper) and we have also successfully applied nnU-Net tohistopathological segmentation problems. And also on 2D segmentation tasks nnU-Net cam perform extremely well! Working with 2D data in nnU-Net requires a small workaround in the creation of the dataset.
通过5折交叉验证评估了四种最先进模型:nnU-Net、Segmenter,以及YOLOv11与MedSAM或LiteMedSAM的级联结构。 nnU-Net:选择v2版本因其在广泛的医学图像分割任务中表现出持续的高性能。 基于原始框架的成功,nnU-Net v2引入了新的残差编码器、改进的归一化策略,以及通过指纹提取自动适应数据集特征的增强训练管道。 这些发现凸显了权衡关系:nnU-Net 在准确性方面表现优异,但计算成本高昂,而 Segmenter 在性能与实时可行性之间实现了平衡。 结果显示,nnU-Net实现最高分割准确率,展现出对伪影的鲁棒性,而Segmenter则在实时可行性方面表现出竞争性性能。
SegVol对hard类的平均Dice score比排名第二的nnU-net高14.76%。 病灶分割能力 我们使用nnU-net作为基线模型,它在传统的医学体素分割模型中表现出最强的分割能力。如表3所示,SegVol分割这些具有挑战性的病变的能力明显优于nnU-net。 在这三个病变数据集中,SegVol的Dice score超过nnU-net 19.58%,这代表在复杂体素病灶分割方面SegVol的重大进步。 可视化结果显示,与nnU-net产生的结果相比,SegVol重建的这些病变解剖结构更接近于Ground Truth。 与最强大的传统体素分割方法nnU-net(自动为每个数据集配置参数)不同,SegVol的目的是将各种医学体素分割任务统一到一个单一的架构中。
特别在三个具有挑战性的病变数据集上,SegVol比nnU-Net的Dice得分高20%左右。 目前,SegVol的代码和权重已经在GitHub上公开。 SegVol对hard类的平均Dice score比排名第二的nnU-net高14.76%。 病灶分割能力 此外,研究人员使用nnU-net作为基线模型,该模型在传统的医学体素图像分割模型中表现出最强的分割能力。 如下表3所示,SegVol分割这些具有挑战性的病变的能力明显优于nnU-net。 △病灶分割 可视化结果显示,与nnU-net产生的结果相比,SegVol重建的这些病变解剖结构更接近于Ground Truth。
1.2 模型方面 1、Baseline nnU-Net nnU-Net核心是一个在128×128×128大小的Patch上运行的3D U-Net。 nnU-Net应用Region-Based训练,而不是预测3个相互排斥的肿瘤子区域,而不是预测3个互斥肿瘤分区,与提供的分割标签一样,该网络预测的是增强肿瘤的3个重叠区域如加强肿瘤(ET,original 1.3 训练策略 这里遵循nnU-Net训练方法。每个网络都接受了5倍交叉验证的训练。在训练过程中,动态地应用数据增强来提高泛化能力。数据增强包括随机旋转和缩放、弹性变形、附加亮度增强和伽玛缩放。
因此,在分割3D医学结构的大型医学体积时,卷积全卷积神经网络(如nnU-Net)仍然主导市场。 以下,作者将详细介绍将Mamba Layer集成到nnU-Net中的策略。图2展示了作者丰富Mamba层U-Net架构。 SegMamba。 在前一组中,作者包括原始的nnU-Net [22]配置,该配置使用标准的U-Net架构(nnU-Net),以及基于U-Net(编码器中具有残差连接)的变体(nnU-Net ResEnc)。 始终使用了nnU-Net五倍交叉验证方案。 作者的实验结果表明,与nnU-Net和不同基于transformer的网络相比,在三个知名数据集上,HD95和DSC指标有了显著提升。
分布内(ID)任务表现 在 100 个任务的分布内测试中,MedSegX 平均 Dice 系数达到 0.91,显著优于 nnU-Net、U-Mamba、DoDNet 等任务特定模型,以及 MedSAM、 三维分割扩展 研究人员进一步提出 MedSegX3D,在 CT、MRI、CTA、CBCT 等三维影像上表现优于 3D nnU-Net、nnFormer 等任务特定模型,以及 SAM-Med3D 等通用模型
基于nnU-Net的心脏分割模块我们实现了一个模块,用于在图像预处理后将心脏从胸腔和腹部扫描中分离出来。 我们的3D分割模块基于nnU-Net,这是一个构建在U-Net架构上的自配置神经网络框架,已在多种数据类型上表现出高性能和鲁棒性。 为了训练和评估,nnU-Net需要一个分割的“地面实况”,这由胚胎学家在40例μCT扫描上手动勾画心脏轮廓定义;这40例扫描包含了E18.5和P0阶段的样本,以及正常和CHD心脏。 nnU-Net分割达到了96.5%的Dice系数、96.1%的召回率和95.9%的精确率,表明分割高度准确。 使用nnU-Net进行心脏分割和手动分割为了避免技术混淆因素,我们将原始μCT扫描标准化到相同的轴向视图和20 μm x 20 μm x 20 μm的各向同性体素。
该方法包括一个预处理步骤,使所有MRI图像符合相同的方向,然后使用nnU-Net框架的卷积神经网络。我们总共使用了14个来自研究和临床收集的数据集。其中7个用于训练和验证,7个保留用于独立测试。
Renhe Ji, Haoqiang Fan https://arxiv.org/abs/1904.08060v1 https://github.com/hughplay/DFNet 医学图像分割 nnU-Net
轮廓注释经过后处理以生成分割(如图 2所示),分割由受训人员审查,并根据需要进行小幅修改,该分割任务训练了基线 nnU-Net 模型,专家根据需要进一步审查标签和交叉验证预测之间一致性较低的案例。
num', len(expected_train_identifiers)) print('test num:', len(expected_test_identifiers)) nnU-Net
虽然BiomedParse在大多数成像模态上的性能与最先进的专用模型nnU-Net相当(补充图6所示),但BiomedParse仅使用一个通用模型就实现了如此有前景的性能,而nnU-Net则需要106个单独训练的模型 除了比较当前基于SAM的最先进模型外,我们还评估了BiomedParse与(1)既定的医学分割方法nnU-Net,这是一种端到端的U-Net架构,采用纯粹的卷积模块和全监督学习,无需提示即可适应各种医学成像模式 至于特定任务的nnU-Net模型和DeepLabV3+模型,我们在二维中训练了这两种网络架构,每种模态每种目标都有一个二进制分割模型,每种方法各有95个特定任务的模型。 我们采用了nnU-Net内置的自动超参数配置。 对于Deeplabv3网络,我们在50个周期内训练所有模型,批量大小为4,学习率为0.0003,权重衰减为0.0001,使用AdamW优化器。
除上述通用领域的应用外,在一些专业领域的应用也在快速发展,比如医学领域,用PyTorch开发的开箱即用的解决方案nnU-Net[12]: nnU-Net overview 在GIS领域,ESRI官方提供了许多解决方案和预训练模型 ultralytics [11] Real-Time Voice Cloning: https://github.com/CorentinJ/Real-Time-Voice-Cloning [12] nnU-Net
除上述通用领域的应用外,在一些专业领域的应用也在快速发展,比如医学领域,用PyTorch开发的开箱即用的解决方案nnU-Net[12]: nnU-Net overview 在GIS领域,ESRI官方提供了许多解决方案和预训练模型 ultralytics [11] Real-Time Voice Cloning: https://github.com/CorentinJ/Real-Time-Voice-Cloning [12] nnU-Net
这些切片用于训练基于nnU-Net框架的初步分割模型,该模型由我们的小组先前开发和发表。