使用OpenVino的C-API异步批处理推理

Question

我正在尝试寻找一个使用C-API (而不是C++)异步批处理接口进行OpenVino图像推断的示例。

我可以一次在一个图像上进行推理，没有问题，但我不清楚如何将其扩展到使用C-API进行批量推理。

有没有人有这样做的例子或参考？OpenVino文档仅限于此方面，也没有提供我所能找到的任何基于C的示例。

编辑:根据下面的评论，澄清挑战在于理解如何使用多个图像加载输入blob。现有的示例要么假设C++接口并使用向量来移动物体，要么不清楚示例中惯用的是什么(例如，使用C-API的对象检测示例)。

Answer 1

• 您可以使用以下函数: ie_infer_request_infer_async()和ie_infer_request_set_batch()。相关信息可从以下链接获得：https://docs.openvinotoolkit.org/2020.4/ie_c_api/group__InferRequest.html

• 我建议您参考以下两个基于C API的示例：

你好，分类C示例https://docs.openvinotoolkit.org/2020.4/openvino_inference_engine_ie_bridges_c_samples_hello_classification_README.html

你好，NV12输入分类C示例https://docs.openvinotoolkit.org/2020.4/openvino_inference_engine_ie_bridges_c_samples_hello_nv12_input_classification_README.html

以下页面提供了将推理引擎集成到应用程序中的过程的

• 高级描述：https://docs.openvinotoolkit.org/2020.4/openvino_docs_IE_DG_Integrate_with_customer_application_new_API.html