如何使用ONNXRuntime half运行半浮动ONNX模型？

Question

由于C语言没有半浮点实现，那么如何向ONNXRuntime data发送数据呢？

Answer 1

可能有一个从这里链接到的示例：https://github.com/microsoft/onnxruntime/issues/1173#issuecomment-501088662

您可以创建一个缓冲区来将输入数据写入使用CreateTensorAsOrtValue，并使用GetTensorMutableData访问OrtValue中的缓冲区。

ONNXRuntime正在使用特征将浮点数转换为您可以写入该缓冲区的16位值。

uint16_t floatToHalf(float f) {
  return Eigen::half_impl::float_to_half_rtne(f).x;
}

或者，您可以编辑模型以将一个从float32到float16的强制转换节点添加到float16，以便该模型以float32作为输入。

Answer 2

C语言没有半浮点实现

是的，但是有语言扩展，您可以编写自己的库来处理数据。

因此，例如，在某些体系结构上，_Float16类型是由gcc支持的ISO/IEC 18661-3:2015定义的。

您可以编写或找一个图书馆来处理半浮点操作。