我正在尝试使用TFMOT (Tensorflow model Optimization ToolKit)修剪一个预先训练好的模型。是否有必要重新训练修剪后的模型以获得更小的gzip大小?如果不重新训练,模型gzip大小不会减小。
发布于 2021-03-25 22:41:17
是的,有必要训练模型以应用剪枝。
在训练过程中,剪枝会慢慢地将一些权重减少到零。这个渐进的过程对于保持良好的准确性是必要的,它可以通过特定的pruning schedule进行微调。为了获得最佳结果,应将剪枝应用于已训练好的模型。
Tensorflow团队目前正在研究如何在没有训练的情况下在单次拍摄中应用剪枝。我们的目标不是产生一个有用的模型,而是在不重新训练的情况下衡量剪枝的大小和性能优势。https://github.com/tensorflow/model-optimization/issues/621
https://stackoverflow.com/questions/64686187
复制相似问题