如何在ML.NET上加载和运行Intel-Tensorflow模型

Question

环境: Tensorflow 2.4、Intel-Tensorflow 2.4

据我所知，pb格式的Tensorflow模型可以在ML.NET上加载。

但是，我使用的是利用英特尔优化的Tensorflow (https://github.com/Intel-tensorflow/tensorflow)的量化包LPOT (https://github.com/intel/lpot)。尽管英特尔- Tensorflow是基于Tensorflow构建的，但它使用了一些量化的Op，该Op在Tensorflow上没有注册的OpKernel (例如：'QuantizedMatmulWithBiasAndDequantize‘在TF上已弃用)。因此，如果不安装Intel-Tensorflow，量化模型将无法在原生Tensorflow环境下运行。

我的目标是在ML.NET上运行这个量化的pb英特尔-Tensorflow模型，有人知道ML.NET是否支持英特尔-Tensorflow吗？还有没有其他方法可以做到这一点？

任何帮助/建议都是非常感谢的。

Answer 1

ML.NET中支持的oneDNN取决于ML.NET集成。如果他们在TensorFlow C++应用程序接口中启用了oneDNN，ML.NET就可以支持oneDNN。

​

​

您可以尝试在启用了 OneDNN的ML.NET环境中安装英特尔常用的Tensorflow 2.5。您可以通过以下链接安装现货Tensorflow轮：https://pypi.org/project/tensorflow/#files

要安装轮子文件：pip install __.whl。

要启用oneDNN优化，请设置环境变量TF_ENABLE_ONEDNN_OPTS：

set TF_ENABLE_ONEDNN_OPTS=1

要确保显示详细日志：set DNNL_VERBOSE=1

有关oneDNN详细模式的更多信息，请参阅：https://oneapi-src.github.io/oneDNN/dev_guide_verbose.html

有关英特尔针对tensorflow进行优化的更多信息，请参阅：https://software.intel.com/content/www/us/en/develop/articles/intel-optimization-for-tensorflow-installation-guide.html