在不创建端点的情况下使用AWS Sagemaker实现模型性能

Question

我一直在使用Amazon Sagemaker Notebook为NLP任务构建pytorch模型。我知道您可以使用Sagemaker进行训练、部署、超参数调优和模型监控。

但是，看起来您必须创建一个推理端点，以便监视模型的推理性能。

我已经设置了一个EC2实例来在我们的模型上执行推断任务，这个模型目前在一个开发箱中，而不是使用端点来创建

是否可以使用Sagemaker来训练、运行超参数调整和模型求值，而无需创建端点。

Answer 1

如果您不想让推理端点保持运行状态，一种选择是使用来运行一个作业，该作业将训练好的模型和测试数据集作为输入，执行推理并计算评估指标，然后将它们保存到SageMaker文件中的S3中。

This Jupyter notebook example通过(1)预处理训练和测试数据，(2)训练模型，然后(3)评估模型

Answer 2

您可以使用两种方法在亚马逊网络服务SageMaker上部署您的模型:设置端点和创建批量转换作业。我想你可以试试后者。

使用批处理转换作业的好处是，您可以为输入和输出数据指定S3存储桶路径。作业完成后，它会将输出直接上载到s3路径。