面向实时推理的对象检测模型

Question

我在定制数据集上训练了OD模型。我想将模型部署为API。该模型将用于实时推理，我计划在一个API市场上赚钱，比如AWS，Rakuten的快速API等等。

我担心的是，如果OD模型是作为API提供的，在视频流(监视摄像头馈送)上执行实时预测会带来网络延迟，从而使应用程序变得更慢。是否有其他替代方案来解决延迟问题？

例如，如果我打包要在客户端系统上执行的代码和工件，则可以消除网络延迟，但有可能暴露模型、代码等。因此API似乎是我的用例的理想解决方案。

执行这种情况的最佳方法是什么？

此外，如果对图像进行预处理和后处理，则需要对图像进行预处理。是否有任何平台帮助将我们的应用程序打包并将其转换为一个接受图像输入并提供图像输出的黑匣子？

Answer 1

对于Amazon，您可以销售亚马逊SageMaker "model package“产品，这是一种预先培训过的预测模型，不需要买方进行任何进一步的培训。

这应该解决您对知识产权保护的关切，并在一定程度上解决您对延迟的关切。

关于的知识产权保护，您作为卖方将您的模型打包在一个Docker容器中。当它部署在买方的AWS帐户中的亚马逊SageMaker服务中时，它们无法直接访问容器。它们只能通过SageMaker API与您的模型交互。更多信息在这里：https://docs.aws.amazon.com/marketplace/latest/userguide/ml-security-and-intellectual-property.html

关于延迟，模型包部署在他们选择区域的买方的AWS帐户中。虽然模型包不能部署到边缘设备上，但它使它更加接近于您作为卖方承载API的位置。

有关在AWS上发布亚马逊SageMaker产品的更多信息，请参见卖方指南：https://docs.aws.amazon.com/marketplace/latest/userguide/machine-learning-products.html