微调大模型：BitFit与Diff Pruning的策略对比与应用场景解析

1

BitFit：极简主义的偏置微调

BitFit，全称Bias-term Fine-tuning，是目前最简单、最极致的PEFT方法之一。

技术原理

它的原理可以用一句话概括： 冻结模型中所有的权重矩阵，只更新网络中的偏置项（bias terms） 。这里的偏置项指的是Transformer层中所有线性层（如query, key, value, 全连接层）和LayerNorm层里的bias参数。就像调整一个精密仪器的“零点”，只动这些微小的偏移量，来引导整个模型的输出。

操作过程

实现起来异常简单，只需在训练前将模型中所有不包含"bias"的参数设置为 `requires_grad=False` 即可。

核心特点

• 极致高效 ：可训练的参数数量通常不到模型总量的 0.1% 。例如，在一个13亿参数的模型上，BitFit只需更新约54万个参数。
• 任务一致 ：无论下游任务是什么，BitFit更新的参数集合（即所有bias项）是完全一致的，具有任务不变性。
• 惊人效果 ：研究表明，在中小规模数据集上，仅微调这些bias项就能达到与全量微调相媲美，甚至在某些中间数据量场景下表现更好、更稳定 。
• 理论价值 ：BitFit的成功有力地支持了一个观点：微调的主要作用更像是“激发”模型在预训练阶段已经习得的知识，而非学习全新的、复杂的任务特异性知识。

典型示例

• 图像分类 ：在Vision Transformer (ViT) 上应用BitFit，对CIFAR100、CUB-200-2011（鸟类细粒度分类）、Stanford Cars（车辆分类）等数据集进行微调。实验表明，仅更新bias项就能在多种图像分类任务上取得极具竞争力的准确率。
• 自然语言理解 ：对BERT、RoBERTa等模型进行BitFit微调，应用于 文本分类 （如情感分析）、 问答系统 等任务。研究发现，在中小规模数据集上，它的表现能与全量微调媲美，甚至更稳定。

适合的场景与需求

• 快速验证与原型开发 ：当你需要快速测试一个新任务的想法，但又不想花时间进行复杂的配置和训练时，BitFit是最佳拍档。
• 数据量适中的任务 ：对于几万到几十万条样本的中小规模数据集，BitFit能有效避免过拟合，展现出强大的泛化能力。
• 计算资源极度受限 ：你的设备可能只有一块普通的GPU，甚至只想在CPU上快速跑通一个流程，BitFit极低的可训练参数量（<0.1%）使其成为可能。
• 探索模型机理 ：由于其极简性，研究人员常用它来分析bias项在模型适应新任务中扮演的关键角色。

2

Diff Pruning：动态的差分剪枝

Diff Pruning（差分剪枝）思路是“具体问题具体分析”，通过一个可训练的稀疏“差分向量”来动态决定更新哪些参数

技术原理

它不直接选择固定的参数，而是为每个原始权重学习一个 可训练的“掩码” 。在前向传播时，最终的权重是 原始权重 + 掩码 。训练过程中，通过引入稀疏性正则化，强制这个“掩码”变得极其稀疏，从而动态地决定哪些位置的权重需要被更新。

核心特点

• 动态选择 ：与BitFit的固定模式不同，Diff Pruning能根据不同任务的需要，自适应地找出对任务最重要的那部分参数进行更新。
• 参数高效 ：虽然学习的“掩码”本身是参数，但由于其稀疏性，每个任务实际改变的参数量可以控制得非常小。
• 存储需求 ：每个微调后的任务需要存储的不是整个模型，而是一个与原始模型参数规模相同但极其稀疏的“掩码”向量，存储上比全量微调有优势，但与BitFit仅需存储bias向量相比，成本仍高不少。

典型示例

• 多任务自然语言理解 ：这是Diff Pruning论文中展示的核心场景，在GLUE基准（涵盖语言 acceptability、情感分析、文本蕴涵等多个任务）上，Diff Pruning仅为每个任务修改了预训练模型（如BERT）中 0.5% 的参数，就能取得与全量微调相当的性能。
• 序列标注与问答 ：理论上，它适用于任何需要对模型进行精细调整的NLP下游任务，尤其是在你需要为同一个底座模型适配多个不同任务时。

适合的场景与需求

• 多任务部署与模型即服务 ：想象你有一个强大的底座模型（如LLaMA），需要为成百上千个不同的客户或任务提供定制化服务。Diff Pruning允许你只为每个客户保存一个极小的、稀疏的“差分文件”（diff vector），而不是整个模型的副本，从而极大地节省了存储成本。
• 流式任务与持续学习 ：当新任务不断到来，且你无法预知所有任务时（例如，手机端不断安装的新应用），Diff Pruning可以独立地为每个新任务生成差分向量，而不会干扰其他任务或导致灾难性遗忘。
• 设备端（On-Device）学习 ：在存储和内存都受限的手机或物联网设备上，下载整个微调后的模型是不现实的。设备可以只下载一个轻量的“差分文件”，与设备上已有的底座模型合并，即可完成模型更新。
• 追求极致压缩比 ：相比BitFit固定的参数集合，Diff Pruning通过稀疏正则化，可以针对不同任务实现自适应、甚至更高的压缩比。

3

横向对比

为了更直观地理解它们的区别，我们把这两种方法放在一起比较：

总的来说，选择式方法让我们看到了大模型微调的另一种可能： 不添砖加瓦，只精雕细琢 。

BitFit 以其极致的简单和高效脱颖而出，它不仅实用，更提供了一个理解模型内部运作的独特视角。

Diff Pruning 则代表了另一种更动态、更灵活的探索方向，虽然在实践中不如BitFit和LoRA流行，但其“让数据决定更新哪里”的思想非常巧妙。