为初学者将NLP模型部署到AWS

Question

我的任务是优化网站上的搜索。搜索应该是图片和文本文本查询。我已经开发、训练、测试和选择了一个机器学习模型，该模型将图像和文本转换为一个特征向量(Python，基于OpenAI剪辑)。这个特征向量将被转换为弹性搜索。弹性搜索将由另一位专家进行配置。

该模型将首先用于确定所有现有图像和文本的特征向量，然后在添加新内容或更改现有内容时使用。

有很多现有的内容(大约数以千万计的图片和文本在一起)。每天大约有100到500条内容被添加和修改.

我对AWS没有做太多的工作，但是在这种情况下，模型需要以某种方式部署到AWS中。当然，我有模型和整个项目在本地，我可以编写一个API应用程序，并制作一个Docker容器。

问题是，在AWS上部署此应用程序的最佳方法是什么？在速度和易于实现方面最好的是(对于我来说是AWS初学者)，以及成本优化，同时考虑到对应用程序的请求数量。

我看到了不同的可能性，从简单地在EC2上部署应用程序(可能是最简单的选项)到使用SageMaker。还有Kubernetes和ECS..。

Answer 1

我建议您使用SageMaker托管端点，如果您需要能够在一天中的任何时候几乎实时地运行矢量化，或者在SageMaker培训工作中，如果您可以批量运行矢量化，例如每隔几个小时运行一次。

对于这两个系统，您都可以使用预定义的框架容器和SDK，向它们传递Python代码和可选的requirements.txt，也可以创建自己的映像。