基于SageMaker Neo的AWS - SageMaker无服务器推理

Question

我计划结合使用SageMaker serverless无服务器推理和SageMaker Neo来部署我的模型，用于无服务器、低延迟的推理。然而，文件不清楚是否有可能这样做。

根据Neo 这里的实例类型，我可以使用例如ml_m4实例。但是，Neo 这里的OutputConfig指定TargetDevice可以是lambda。无服务器推理文档指定"Serverless推理与AWS集成以提供高可用性.“，因此我假设底层实例与AWS具有相同(或兼容)类型。

1. 你用过这样的组合吗？它起作用了吗？
2. 我应该用Neo编译哪一个实例类型？

Answer 1

目前，在无服务器推理和Neo之间还没有集成。AWS和SageMaker Serverless推理是两个独立的特性。Lambda是它自己的服务，这就是为什么它是TargetDevice的兼容选项。SageMaker Serverless推断是与Lambda集成的SageMaker上的托管选项。