tf2onnx Tensorflow to Onnx不一致的输出

Question

我正在尝试创建一个超级简单的Tensorflow网络(一个数据处理Lambda层)，然后将模型转换为ONNX，并在从ONNX调用ONNX模型时验证结果是否匹配。我使用的是Tensorflow v2.5.0。& onnxruntime v1.8.1。

example_input2 = tf.convert_to_tensor([0,1000,2000,2000,2000,3000,3000,4000],dtype=tf.float32)

模型定义：

inp = keras.layers.Input(name="input", type_spec=tf.TensorSpec(shape=[None], dtype=tf.float32))
output = keras.layers.Lambda(lambda x: tf.roll(x,shift=-1,axis=0),name="output") (inp)
model = keras.Model(inp,output,name="pipeline")

然后我可以将我的example_input2输入到网络中：

model.predict(example_input2)

它提供所需的输出(简单的tf.roll操作)：

array([1000., 2000., 2000., 2000., 3000., 3000., 4000.,    0.],
  dtype=float32)

太棒了！现在我可以保存我的tensorflow模型，

model.save("OnnxInvestigateData/pipeline2", overwrite=True, include_optimizer=False, save_format='tf')

然后在shell中，我可以使用tf2onnx将其转换为ONNX格式：

python -m tf2onnx.convert --opset 14 --saved-model pipeline2 --output pipeline2.onnx

然后，回到python中，我可以加载onnx模型，并尝试通过相同的输入进行输入：

sess = rt.InferenceSession("OnnxInvestigateData/pipeline2.onnx", log_verbosity_level=2)
xinput = example_input2.numpy()
sess.run(['output'],{"args_0":xinput})

它提供与输入匹配的输出，而不是期望的输出(应该是tf.roll'd -1)：

[array([   0., 1000., 2000., 2000., 2000., 3000., 3000., 4000.],
       dtype=float32)]

当我在我原来的keras模型上从python内部调用model.predict时，我完全不明白为什么这里的输出不匹配。有什么想法吗？

Answer 1

看起来你在tf2onnx中发现了一个bug。这里有一个解决方案：https://github.com/onnx/tensorflow-onnx/pull/1616

如果您只是在做测试，不想等待修复程序合并，请尝试使用正移位值。

output = keras.layers.Lambda(lambda x: tf.roll(x,shift=2,axis=0),name="output") (inp)

另外，如果你想在你的脚本中直接从keras转换，你可以这样做：

onnx_model, _ = tf2onnx.convert.from_keras(model, opset=14)
sess = rt.InferenceSession(onnx_model.SerializeToString())