AWS Sagemaker vs ECS模型托管

Question

我将预先训练好的模型工件存储在S3存储桶中。我想创建一个加载此模型并将其用于推理的服务。

我在AWS生态系统中工作，对使用ECS和Sagemaker进行模型部署感到困惑？选择一个有什么好处/坏处？

Answer 1

SageMaker有更高的价格，但它需要部署机器学习模型的大量繁重工作，例如连接各个部分(负载均衡器、gunicorn、CloudWatch、自动缩放...)而且更容易实现A/B测试等过程的自动化。

如果你有一个强大的DevOps团队，他们没有更重要的事情要做，你可以构建一个比SageMaker选项更便宜的流。ECS和EKS同时做了大量工作，使您可以非常轻松地自动执行机器学习模型部署。然而，它们将始终是更通用的用途，并且专注于机器学习的SageMaker将更容易用于这些用例。

使用云的通常模式是在早期使用托管服务，因为您希望快速移动，但您并不真正知道未来的问题在哪里。一旦系统在增长，你开始感觉到一些痛苦，你可以决定花时间改进系统的这一部分。因此，如果您不知道优缺点，请从使用更简单的选项开始。