我们如何在AWS Sagemaker推理中添加复杂的预处理

Question

我正在使用AWS Sagemaker部署在Sagemaker之外训练的语音模型。我能够将我的模型转换成Sagemaker能够理解的东西，并将其部署为端点。问题是Sagemaker直接加载模型并调用.predict来获得推理。我无法确定在已部署的模型中可以在何处添加预处理功能。建议使用AWS Lambda或其他服务器进行预处理。有没有办法在Sagemaker中加入复杂的预处理(不能通过简单的Scikit，Pandas之类的框架)？

Answer 1

您需要在引入语音模型的容器中调整predictor.py文件。假设您正在使用“带上您的容器”在SageMaker上部署这些模型，您将需要调整predictor代码，以包含您正在使用的预处理功能。对于您正在使用的任何额外依赖项，请确保在您带来的Dockerfile中更新此依赖项。在predictor文件中具有预处理功能将确保您的数据在返回预测之前按照您的期望进行转换和处理。但是，这会增加响应时间，因此，如果您有繁重的预处理工作负载或需要发生的ETL，您可能希望将服务视为AWS Glue (ETL)或Kinesis (实时数据流/数据转换)。如果你选择使用Lambda，你需要记住15分钟的超时限制。

我在AWS工作，我的观点是我自己的