我有一个使用TensorFlow服务的TensorFlow对象检测模型,并部署到Azure Kubernetes集群中。我使用过Nvidia K80 GPU设备,TensorFlow/serving:1.12.3:gpu版本。
模型部署正确,响应正常,但响应时间较长,500*375 -135KB镜像的响应时间为3-4秒。
有人能帮我理解哪些地方可以改进吗?
发布于 2019-10-14 10:36:53
如果此图像是第一个预测请求,则这是正常情况。您可能需要一个热身请求。
https://stackoverflow.com/questions/58212738
复制相似问题