如何使用tf.lite.Interpreter (python中的)来运行tflite模型(*.tflite)？
如何使用tf.lite.Interpreter (python中的)来运行tflite模型(*.tflite)？
提问于 2019-09-05 16:45:35
根据https://www.tensorflow.org/lite/convert的指示，我已经将tensorflow推理图转换为tflite模型文件(*.tflite)。
我在我的GPU服务器上测试了tflite模型，它有4个Nvidia TITAN GPU。我使用tf.lite.Interpreter加载并运行了tflite模型文件。
它像以前的tensorflow图一样工作，然而，问题是推理变得太慢了。当我检查原因时，我发现tf.lite.Interpreter运行时GPU利用率根本就是0%。
有没有什么方法可以让我在GPU支持下运行tf.lite.Interpreter？
回答 2
Stack Overflow用户
发布于 2020-05-19 15:55:55
https://github.com/tensorflow/tensorflow/issues/34536
CPU对于tflite来说已经足够好了，尤其是多核。
nvidia GPU可能没有针对tflite进行更新，tflite是针对移动GPU平台的。
Stack Overflow用户
发布于 2021-09-02 03:23:14
阴谋:他们(TF-NVIDIA)握手不让TFlite在图形处理器上工作？做一个很容易。
史蒂夫
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57801680
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号