TensorFlow2.0中的XLA -冻结模型？

Question

我遵循了XLA编译的官方指南(https://www.tensorflow.org/xla/tfcompile)，并且编译示例工作得很好(在AOT /Test中)。

但是后来我想编译一些稍微大一点的模型，出现了一个问题:如果XLA AOT需要一个冻结的图作为输入(正如我从指南中理解的那样)，而TensorFlow 2中不再支持冻结的图，那么XLA现在需要什么输入呢？

Answer 1

在TensorFlow 2中似乎仍然有冻结图表的方法。我遵循这篇文章创建了一个冻结的图表，它后来编译了它：https://leimao.github.io/blog/Save-Load-Inference-From-TF2-Frozen-Graph/

# Convert Keras model to ConcreteFunction
full_model = tf.function(lambda x: model(x))
full_model = full_model.get_concrete_function(
    tf.TensorSpec(model.inputs[0].shape, model.inputs[0].dtype))

# Get frozen ConcreteFunction
frozen_func = convert_variables_to_constants_v2(full_model)
frozen_func.graph.as_graph_def()

layers = [op.name for op in frozen_func.graph.get_operations()]
print("-" * 50)
print("Frozen model layers: ")
for layer in layers:
    print(layer)

print("-" * 50)
print("Frozen model inputs: ")
print(frozen_func.inputs)
print("Frozen model outputs: ")
print(frozen_func.outputs)

# Save frozen graph from frozen ConcreteFunction to hard drive
tf.io.write_graph(graph_or_graph_def=frozen_func.graph,
                  logdir="./frozen_models",
                  name="frozen_graph.pb",
                  as_text=False)