在TFLite v2.3中为ARM64启用ARM64

Question

TFLite团队最近宣布了Tfv2.3 (https://blog.tensorflow.org/2020/07/accelerating-tensorflow-lite-xnnpack-integration.html)中的XNNPack支持。这将为ARM v8内核上的浮点操作提供一些令人印象深刻的加速。

有人知道如何为XNNPack的ARM64构建启用TFLite吗？尤其是基准测试应用程序将是在目标硬件上测试这一新功能的好地方。iOS和Android支持是通过在编译时将一个标志传递给Bazel来启用的。不幸的是，没有为ARM64板的建设提供指导。构建说明(见下文)没有提供任何更新的指导，检查download_dependencies.sh不会显示XNNPack是从任何地方下载的。

https://www.tensorflow.org/lite/guide/build_arm64

Answer 1

XNNPACK还不支持基于Makefile的构建。我们最近在ARM64中添加了对交叉编译的实验性支持(通过bazel build命令中的--config=elinux_aarch64 )，这应该允许构建时选择加入到XNNPACK，同时在构建命令中添加--define tflite_with_xnnpack=true。期望在下一个TF 2.4版本中对交叉编译到ARM64的文档进行一些改进，在这个版本中，我们还将研究如何为尽可能多的平台默认启用XNNPACK。