在Seldon Core上路由模型A的输出作为模型B的输入

Question

我正在测试Seldon Core，我想知道是否有一种简单的方法来路由模型A的输出作为Seldon Core上的模型B的输入。最佳实践是什么？

Answer 1

在SeldonDeployment资源定义中，您有一个图形部分。顶级元素是第一步，它包含下一步的子元素。下面是一个代码片段from an example，显示了一个转换器，用于在将请求传递给模型之前对其进行转换：

    graph:
      children:
        - children: []
          implementation: XGBOOST_SERVER
          name: model
          modelUri: s3://model-image
          type: MODEL
      endpoint:
        type: REST
      name: feature-transformer
      type: TRANSFORMER

有一个example in the seldon documentation，其中使用clean和tokenize等步骤来执行自然语言处理的推理。该示例有多个步骤作为类型模型。还有discussion on this in the seldon slack channel。