目前有哪些支持知识蒸馏的主流框架和工具？

1. PyTorch 生态

TorchDistill 是 PyTorch 官方推荐的蒸馏框架，提供输出层蒸馏、特征层蒸馏和关系蒸馏三种范式，支持灵活的配置文件驱动式训练。PyTorch Lightning 等高级封装也提供了分布式蒸馏训练的高效实现，适合工业级大规模部署场景。

2. TensorFlow 生态

TensorFlow Model Optimization Toolkit 内置了完整的蒸馏流水线，支持动态温度调节、自适应损失权重和多教师融合。TF-Distill 框架专为 TensorFlow 2.x 设计，提供可视化分析功能，可通过 TensorBoard 展示特征图相似度热力图，方便工程师调试和优化蒸馏过程。

3. HuggingFace Transformers

Transformers 库原生支持 DistilBERT、TinyBERT 等经典蒸馏模型的加载和微调，并提供了蒸馏训练的基础接口。其特有的双阶段蒸馏策略（通用知识蒸馏 + 任务适配蒸馏）已被广泛验证，可将 BERT 类模型参数量减少 40% 而保持 97% 的原始精度。对于大语言模型蒸馏，TRL（Transformers Reinforcement Learning）库提供了在线策略蒸馏的可复现实现。

4. 跨平台与高性能方案

ONNX Runtime 蒸馏扩展利用中间表示实现跨框架蒸馏，支持 PyTorch/TensorFlow 到 ONNX 的无损转换，并与 CUDA Graph 优化和 INT8 量化无缝集成。DeepSpeed 知识蒸馏库则面向超大规模模型，提供 3D 并行蒸馏、零冗余优化和混合精度训练等高级特性。此外，Ultralytics YOLO 系列也已内置蒸馏支持，可直接用于目标检测模型的轻量化。

5. 新兴专用工具

随着蒸馏技术在产业界的普及，各类专用工具不断涌现。部分厂商和研究机构开源了定制化的蒸馏工具包，支持动态温度调整、多教师融合、量化感知蒸馏等高级功能。在实际选型时，建议根据具体任务类型（NLP、CV、多模态）、部署目标（云端、边缘、移动端）和团队技术栈综合评估，通常采用"HuggingFace + PyTorch"进行开发验证，再根据部署环境选择 TensorFlow Lite、ONNX Runtime 或 TensorRT 进行生产优化。