我有数以百万计的图像可供推断。我知道如何编写自己的代码来创建批处理,并使用MxNet Module API将批处理转发到经过训练的网络,以便获得预测结果。但是,创建批处理会导致大量未经过特别优化的数据操作。
在我自己做任何优化之前,我想知道是否有一些推荐的批量预测/推断方法。更具体地说,由于这是一个常见的用例,我想知道是否有一个接口/api可以在给定一个经过训练的模型(即符号文件和纪元检查点)的情况下执行通常的图像预处理、批量创建和推断?
发布于 2019-03-24 08:54:11
如果你使用的是一个标准的预训练模型,我强烈建议你去看看gluoncv project --一个基于Apache MXNet的计算机视觉工具包。
他们确实很好地实现了最先进的模型,有时甚至超过了发表在科学论文中的原始结果。很酷的是,他们还提供了数据预处理代码-据我所知,这就是你正在寻找的。(请参阅gluoncv.data.transforms.presets包)。
我不知道你想做哪种推断,比如图像分类、分割等,但看看list of tutorials,你很可能会找到你需要的。
除此之外,对于快速挂钟时间的优化要求您确保您的GPU被100%利用。您可能会发现观看this video以了解有关优化性能的提示和技巧的更多信息很有用。它讨论了训练,但同样的技术也适用于推理。
https://stackoverflow.com/questions/55146816
复制相似问题