SageMaker Neo使用哪些技术进行模型优化

Question

SageMaker Neo (SageMaker编译作业)是否使用任何技术进行模型优化？是否使用任何压缩技术(蒸馏、量化等)来缩小模型尺寸？

我在这里找到了一些关于量化的描述(https://docs.aws.amazon.com/sagemaker/latest/dg/neo.html)，但还不清楚如何使用它。

非常感谢你的洞察力。

Answer 1

Neo使用编译优化推理，这是不同的，而且常常与压缩正交。

• 编译通过专门化预测应用程序使推理更快、更轻松，特别是：(1)改变模型运行的环境，特别是用最少数量的必要数学库取代训练框架；(2)优化模型图，使其仅用于预测，并将可能的操作符组合在一起；(3)使运行时专门化，以便最佳地使用给定目标机器上可用的特定硬件和指令。编译不应该改变模型的数学，因此不会改变它在磁盘上的足迹
• 压缩通过删除模型权重或使模型权重变小(量化)使推理速度更快。重量可以通过修剪(降低重量，不会影响很多结果或蒸馏(训练一个小模型，以模仿一个大模型)。

在撰写本文时，SageMaker Neo是一个托管编译服务。也就是说，编译和压缩可以结合在一起，您可以在将网络添加到Neo之前对其进行修剪或提取。

SageMaker Neo覆盖了大量的硬件目标和模型体系结构，从而利用了大量的后端和优化。近地天体内部装置在许多地方公开记录：

• 根据这个博客，Neo使用特雷进行树型优化(https://mlsys.org/Conferences/doc/2018/196.pdf，Cho et Li)
• 根据它的着陆页，Neo也使用Apache。TVM是领先的开源编译器，由陈天琪和DMLC社区(也是XGBoost和MXNet合著)开发。在https://arxiv.org/pdf/1802.04799.pdf中有大量的TVM技巧记录(Chen等人)
• 据这个博客称，Neo有时还利用NVIDIA的官方推理优化堆栈NVIDIA TensorRT。
• Neo还使用了一些亚马逊开发的优化：

- [_A Unified Optimization Approach for CNN Model Inference on Integrated GPUs_](https://arxiv.org/pdf/1907.02154.pdf) (Wang et al): _"Our work is already deployed in Amazon SageMaker Neo Service"_
- [_Optimizing CNN Model Inference on CPUs_](https://www.usenix.org/system/files/atc19-liu-yizhi.pdf) (Liu et al)_"NeoCPU is used in Amazon SageMaker Neo Service"_