Tensorflow: prune_low_magnitude后显示模型失败

Question

是否有一种方法可以显示经过剪枝(prune_low_magnitude和tensorflow_model_optimization)后模型的失败次数的减少。我试着比较默认的剪枝模型，但是我没有找到一种方法，即剪枝模型有更少的失败，甚至模型的大小也减少了很多。我用https://pypi.org/project/model-profiler试过了，但我认为它并没有忽略零权重。

或者有另外一个比较他们的表现的好方法？

谢谢

Answer 1

我只是遇到了同样的问题。正如您所提到的，分析器不会忽略零权值，因为它使用模型的体系结构。因此，人们可以实现失败剖析器，以考虑零权重。但在下面的文章中，提到修剪无助于加速模型推断：

剪枝不会加速推理。

我本人还没有验证过这一点，但是如果是这样的话，可能有必要在剪枝之后重构模型的体系结构。这很可能是通过实际删除那些修剪过的零权重来实现的。经过这一步，触发器的计算应该减少，并希望也加快了模型的推断。

编辑(30/03/2022)：如果对结构化模型剪枝感兴趣，我建议查看下面的NNI AutoML工具包。