为什么在Caffe2上使用LibTorch或Core而不是LibTorch(.pt文件)？

Question

似乎有几种方法可以在iOS上运行Pytorch模型。

caffe2

• PyTorch(.pt)

1. PyTorch(.pt) -> onnx -> -> onnx -> Core-ML (.mlmodel)
2. PyTorch(.pt) -> LibTorch (.pt)
3. PyTorch Mobile?

上述方法的区别是什么？为什么人们使用caffe2或Core (.mlmodel)，它需要模型格式转换，而不是LibTorch？

Answer 1

核心ML可以使用(ANE)，这比在CPU或GPU上运行模型要快得多。如果设备没有ANE，Core可以自动返回到GPU或CPU。

我还没有对PyTorch移动进行详细的研究，但我认为它目前只运行在CPU上，而不是在GPU上。而且它肯定不会在ANE上运行，因为只有Core才能做到这一点。

转换模型可能是一个麻烦，特别是来自PyTorch，它需要首先通过ONNX。但你最终会有一种更快的方式来运行这些模型。