如何在C#中使用pytorch模型？

Question

我有一个在NLP中的pytorch模型和一个在python中使用它的脚本。现在我想在C#中使用这个脚本。我试着从C#运行python脚本，它起作用了。我在C#中获得用户语句，将其传递给python，其输出在C#中使用。问题是，我想在循环中完成这项工作，直到用户选择退出，但每次转到python代码时，它都必须加载pytorch模型，这非常耗时。有没有办法加载一次模型，然后在循环中从用户那里获得输入，并对加载的模型进行推理？

Answer 1

您可以将模型导出为ONNX格式，然后使用OpenCV DNN module或tensorrt进行推理。它将给你一个显着的速度提升，你的整个代码将在C#中。