如何在本地部署我在amazon sagemaker上训练的模型？

Question

我在amazon sagemaker上使用aws blazingtext算法训练了一个模型，并且我能够使用sagemaker部署一个端点。然而，在我的情况下，这并不划算，我想在本地运行它。我发现关于这方面的文档令人困惑。

我所拥有的是经过训练的模型，它保存为我从我的s3存储桶中下载的"model.tar.gz“文件。我在网上读到，您可以使用tensorflow和docker镜像部署模型，但我只想使用本地计算机部署使用sagemaker创建的模型。从本质上讲，我想做的是：

predictor = sagemaker.deploy(initial_instance_count=1, instance_type='local_cpu')

我希望能够使用预测函数进行推理调用，并返回带有预测结果的响应。我正在寻找要使用的库，以及完成此任务的相关代码。谢谢。

Answer 1

SageMaker BlazingText有两种风格：

1. 是一个监督版本，它学习对可变长度令牌序列进行分类；
2. 是一个非监督版本，它学习令牌嵌入。

对于这两个版本，fastText都可以使用由模型生成的二进制文件。从fasttext python binding documentation上看，以下命令似乎适用于这两种情况：

import fasttext

# bin file is found in the model.tar.gz produced by Sagemaker
model = fasttext.load_model('model_filename.bin')

# inference for unsupervised version
model['king']

# inference for supervised version
model.predict('Which baking dish is best to bake a banana bread ?')

Gensim seems to have similar ability to read fastText artifacts，但我发现API不太清楚，它似乎只适用于无监督的情况(单词嵌入)。