基于响应的知识蒸馏和基于特征的知识蒸馏有什么区别？

1. 知识传递的位置不同

基于响应的方法仅在网络的最终输出层进行知识传递，学生模型只需要让最终预测分布接近教师即可。基于特征的方法则在网络的多个中间层建立对齐关系，要求学生模型在特征提取的各个阶段都模仿教师的行为。后者传递的知识更加细粒度和多层次。

2. 架构兼容性不同

响应式蒸馏对教师和学生模型的架构差异几乎没有限制，因为只比较最终的 logits 向量，维度相同即可。特征式蒸馏则要求教师和学生存在可对齐的中间层结构，当两者架构差异较大时需要设计额外的适配层（如 1×1 卷积或线性投影）来桥接维度不匹配的问题。

3. 适用场景不同

响应式蒸馏因实现简单、计算开销小，适合实时部署场景和资源受限的边缘设备。特征式蒸馏由于传递了更丰富的中间表征信息，在细粒度分类、目标检测、语义分割等需要空间或谱信息的复杂任务中表现更优。实际工程中，两者也常被组合使用以获得最佳效果。