在Google顶点AI上使用客户处理程序进行部署

Question

我试图在Google平台上部署一个TorchServe实例，但根据它们的文档(要求)，它要求响应的形状如下：

{
  "predictions": PREDICTIONS
}

其中，预测是一个表示容器生成的预测的JSON值数组。

不幸的是，当我试图在自定义处理程序的postprocess()方法中返回这样的形状时，如下所示：

def postprocess(self, data):
    return {
        "predictions": data
    }

TorchServe返回：

{
  "code": 503,
  "type": "InternalServerException",
  "message": "Invalid model predict output"
}

请注意，data是一个列表，例如：[1，2，1，2，3，3]。(基本上，我是从句子中生成嵌入)

现在，如果我只返回data (而不是Python字典)，它与TorchServe一起工作，但是当我在顶点AI上部署容器时，它会返回以下错误：ModelNotFoundException。我假设顶点AI抛出此错误，因为返回形状与预期的不匹配(c.f )。文件)。

是否有人成功地在顶点AI上部署了带有自定义处理程序的TorchServe实例？

Answer 1

实际上，确保TorchServe正确地处理输入字典(实例)解决了这个问题。文章上的内容似乎不适合我。