优化阿尔伯特HuggingFace模型

Question

目标:修改此albert-base-v2模型以使用记事本模型

内核：conda_pytorch_p36.

第2.1节出口最终模型。它也使用了伯特特定的功能。然而，我找不到与艾伯特相当的东西。

在本节之前，我已经成功地为Albert实现了备选方案。

代码：

# optimize transformer-based models with onnxruntime-tools
from onnxruntime_tools import optimizer
from onnxruntime_tools.transformers.onnx_model_bert import BertOptimizationOptions

# disable embedding layer norm optimization for better model size reduction
opt_options = BertOptimizationOptions('bert')
opt_options.enable_embed_layer_norm = False
...

Do函数用于优化和量化存在的阿尔伯特模型？

更新:您可以在笔记本中运行量化，而无需运行优化。您只需删除“.opt.”。从代码中，这是一个优化文件名的指示。

Answer 1

使用torch_optimizer.优化任何PyTorch模型

安装：

pip install torch_optimizer

执行情况：

import torch_optimizer as optim

# model = ...
optimizer = optim.DiffGrad(model.parameters(), lr=0.001)
optimizer.step()

来源

torch.save(model.state_dict(), PATH)

来源