我在Google cloud platform的ML引擎上部署了一个Tensorflow对象检测模型。我遇到过posts建议Tensorflow服务+ Docker来获得更好的性能。我是Tensorflow的新手,我想知道什么是服务于预测的最好方法。目前,ml引擎在线预测的延迟>50秒。我的用例是用户使用移动应用程序上传图片,并根据预测结果获得合适的响应。因此,我预计预测延迟将降至2-3秒。我还能做些什么来更快地进行预测?
发布于 2019-02-22 06:01:43
谷歌云ML引擎最近发布了对在线预测(Alpha)的GPU支持。我相信我们的产品可能会提供您想要的性能改进。欢迎在这里注册:https://docs.google.com/forms/d/e/1FAIpQLSexO16ULcQP7tiCM3Fqq9i6RRIOtDl1WUgM4O9tERs-QXu4RQ/viewform?usp=sf_link
https://stackoverflow.com/questions/54617357
复制相似问题