是否只有在收到推理请求时才能打开SageMaker模型端点？

Question

我已经创建了一个模型端点，它是InService，并部署在ml.m4.xlarge实例上。我还使用创建了一个RESTful API。

问题：

1. 当我收到推理请求时，我的模型端点是否可能只处于服务状态(或处于待机状态)？也许可以编写lambda函数或关闭端点的东西(这样它就不会一直累积每小时的费用)。
2. 如果q1是可能的，那么最终用户会有一些奇怪的延迟问题吗？因为当我第一次配置模型端点时，通常需要几分钟才能创建它们。
3. 如果不可能使用q1，那么选择更便宜的实例类型将如何影响执行推理所需的时间(例如，我只对用户数量较少的应用程序使用端点)。

我知道这个网站比较不同的实例类型(https://aws.amazon.com/sagemaker/pricing/instance-types/)。

但是，适度的网络性能是否意味着执行实时推理的时间可能会更长？

任何建议都是非常感谢的。这样做的目的不是在用户不要求预测的情况下烧钱。

Answer 1

你的型号有多大？如果它低于拉姆达所要求的50 MB大小限制，并且依赖项足够小，那么可以有一种直接依赖Lambda作为执行引擎的方法。

如果您的模型大于50 MB，那么仍然可以通过将它存储在EFS上来运行它。见Lambda的EFS。

Answer 2

如果您愿意等待5-10分钟SageMaker的启动，您可以通过以下操作来完成这一任务：

1. 设置Lambda函数(或在现有函数中创建方法)，在调用API时检查端点状态。如果状态!= 'InService'，调用#2中的函数。
2. 创建另一个方法，在调用时启动端点，并在Cloudwatch中创建一个度量警报，以监视主lambda函数的调用。当阈值低于所需的调用/句点时，它将调用#3中的函数。
3. 创建第三种方法，以便在调用时删除端点和警报。从技术上讲，警报不能调用Lambda函数，所以您需要在SNS中创建一个主题并订阅这个函数。

祝好运!