- 综合排序
- 最热优先
- 最新优先
- 来自专栏NewBeeNLP
模型压缩与蒸馏！BERT家族的瘦身之路
优点 6层transformer基本达到了bert-12的性能，并且hidden size更小，实际是比bert-6更小的; 因为有pre-train KD，所以可以拿来当bert 一样直接在下游fine-tuning
1.1K30发布于 2021-03-03
时间不限
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号