在边缘TPU上加速多模型推理
在边缘TPU上加速多模型推理
提问于 2020-09-14 11:38:19
我已经重新训练了一个RESNET50模型，用于在边缘TPU上重新识别。然而，它似乎没有办法将一批图像提取到EDGE_TPU。
我已经提出了一个解决方案，为图像运行多个相同的模型。
然而，有没有办法加快多个模型的模型推断？现在的线程化甚至比单一模型推理还要慢。
回答 2
Stack Overflow用户
发布于 2020-09-15 02:38:05
是啊，edgetpu的架构师不允许批量处理。你尝试过模型流水线吗？https://coral.ai/docs/edgetpu/pipeline/
不幸的是，目前只在C++中可用，但我们希望在Q4中期将其扩展到python。
Stack Overflow用户
发布于 2020-10-08 18:48:10
由于批处理推理现在不可用，因此流水线是另一个次要选择。然而，在体验了我的模型之后，我们可以通过为EDGE_TPU提供多个单一输入作为另一种选择来进行伪批处理
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63877776
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号