是否可以将Nvidia Triton Inference Server模型存储库中的另一个模型与自定义Python模型一起使用？

Question

我想在我的Triton Inference Server模型存储库中使用另一个自定义Python模型中的模型，该模型位于同一存储库中。有可能吗？如果是，该怎么做呢？

我想这可以用Building Custom Python Backend Stub完成，但我想知道是否有更简单的方法。

Answer 1

是。

您可以构造InferenceRequest并调用exec()方法来使用模型存储库中的另一个模型。

下面是代码片段：

inference_request = pb_utils.InferenceRequest(
    model_name='model_name',
    requested_output_names=['output0', 'output1'],
    inputs=[pb_utils.Tensor('input0', input0.astype(np.float32))]
)
inference_response = inference_request.exec()
output0 = pb_utils.get_output_tensor_by_name(inference_response, 'output0')
output1 = pb_utils.get_output_tensor_by_name(inference_response, 'output1')

下面是一个相对完整的例子。

import numpy as np
import triton_python_backend_utils as pb_utils
import utils


class facenet(object):
    def __init__(self):
        self.Facenet_inputs =  ['input_1']
        self.Facenet_outputs =  ['Bottleneck_BatchNorm']

    def calc_128_vec(self, img):
        face_img = utils.pre_process(img)
        inference_request = pb_utils.InferenceRequest(
            model_name='facenet',
            requested_output_names=[self.Facenet_outputs[0]],
            inputs=[pb_utils.Tensor(self.Facenet_inputs[0], face_img.astype(np.float32))]
        )
        inference_response = inference_request.exec()
        pre = utils.pb_tensor_to_numpy(pb_utils.get_output_tensor_by_name(inference_response, self.Facenet_outputs[0]))
        pre = utils.l2_normalize(np.concatenate(pre))
        pre = np.reshape(pre, [128])
        
        return pre

你可以在这里找到更多的参考：https://github.com/triton-inference-server/python_backend#business-logic-scripting-beta