火炬服务在本地运行时未能在码头上加载模型

Question

我有一个火炬脚本模型(.pt)，我可以成功地加载火炬服务并在本地机器上服务。另一方面，当试图将它部署在正式的火炬服务码头时，它会抱怨模型，而不加载它。

我的本地环境库是：

• 火炬手版本: 0.5.2
• 火炬-模型-存档版本: 0.5.2
• 火炬版本: 1.10
• java版本: 17
• 操作系统和版本: MacOS 11.4

在Docker使用pytorch/torchserve:latest-cpu的情况下，我希望所有版本都得到解决(我没有安装特定的版本)。

我想知道这是一些错误与最新的图像，或一些错误，从我的身边(以及如何修复)。我将提供更多关于环境和如何复制下面的细节。

我在我的存储库https://github.com/jiwidi/torchservebug中创建了一个可重复的示例。克隆它，复制成这样：

在本地运行

从根文件夹运行

$ sh test.sh

成功地运行了。

和码头一起跑

从根文件夹运行

$ docker build . -t debug:v1

$ docker run debug:v1

这是不运行的，torchserve无法加载模型并输出java错误以及一些火炬错误。

在这个github问题https://github.com/pytorch/serve/issues/1402中可以找到来自码头的完整故障日志

Answer 1

首先要知道的是，码头标签只是标签。仅仅因为它被标记为“最新”并不意味着什么。实际上，您将看到版本0.5.2-cpu比latest-cpu 这里是码头枢纽更新。

使用这个方法至少可以消除java错误。除此之外，您还应该知道，EXPOSE作为一个命令在dockerfile中是令人困惑的:除了作为文档之外，它什么也不做。因此，如果在运行容器时需要访问这些端口，则必须使用-p标志发布端口：

docker run -p 8080:8080 -p 8081:8081 debug:v1

希望这对你在路上有帮助。