如何使用新版本的模型重新部署tensorflow-serving并通过http post访问它

Question

我已经在tensorflow服务docker上部署并运行了一个模型。现在我想用新的和改进的模型重新部署该模型。

我已经使用以下命令部署了之前的模型：

docker run -p 8501:8501 --mount type=bind,source=/opt/scripts/testing/models/model01/,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving

新模型保存在/opt/scripts/testing/models/model02/中

Answer 1

如果我正确理解了您的问题，那么在路径/opt/scripts/testing/models/model01/中已经有了一个Saved Model。

现在，您已经更新/改进了模型，并将其保存在路径/opt/scripts/testing/models/model02/中。

现在您想要部署新版本的Model.It很简单，在Docker Run command中，将model1替换为model2，如下所示：

docker run -p 8501:8501 --mount type=bind,source=/opt/scripts/testing/models/model02/,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving

您可以通过http post访问模型，如下所示(示例)：

curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/my_model:predict