AWS应用程序运行程序的SageMaker模型编译器

Question

SageMaker模型编译器可以用来优化的模型吗？基于OutputConfig.html#sagemaker-Type-OutputConfig-CompilerOptions文档，它看起来可以支持CPU设备-- X86和ARM。输出模型会与基于CPU的一起工作吗？

如果有人尝试过的话，非常感谢你的洞察力。

Answer 1

您可能是指用于推理的SageMaker Neo，而不是SageMaker培训编译器(用于培训)。

SageMaker Neo可以将模型编译成目标CPU体系结构，AppRunner是一种面向轻量容器的高级服务，以简单性为主要目标。在container中，您可以使用设置vCPUs的num，我无法找到使用哪个CPU模型来运行容器的任何保证(这一点也不奇怪)。在实践中，您可以尝试优化Intel指令集，并查看在应用程序运行程序中是否支持结果运行时。

或者，如果您确实需要更多的控制和性能，切换到AWS并显式地选择x86或ARM。