Bert分类器模型的量化

Question

我目前正在尝试量化一个bert分类器模型，但遇到了错误，我想知道目前是否支持这一点？为了清楚起见，我想问一下tensorflow-model-garden中的BERT分类器超类是否支持量化？提前感谢您的帮助！

Answer 1

如果您对在资源受限的边缘设备(如移动电话)上运行类似BERT的模型感兴趣，那么量化标准BERT分类器可能不是一种好的方法。对于你的具体问题，我相信答案是‘不，不支持标准BERT的量化。’然而，更好的答案可能是使用为边缘用例创建的较小的BERT类型模型之一，例如MobileBERT：

https://github.com/google-research/google-research/tree/master/mobilebert

上面的链接包括用于微调然后转换为TF Lite格式以便在设备上运行的脚本。