MediaPipe TensorflowLite虹膜模型

Question

我正在尝试理解mediapipe提供的tflite Iris landmarks model的输出。

model card将输出描述为71个2D地标和5个2D地标。当检查模型时，如下所示：

interpreter = tf.lite.Interpreter(model_path='iris_landmark.tflite')
interpreter.allocate_tensors()
output_details = interpreter.get_output_details()

print(output_details)
[{'dtype': numpy.float32,
  'index': 384,
  'name': 'output_eyes_contours_and_brows',
  'quantization': (0.0, 0),
  'quantization_parameters': {'quantized_dimension': 0,
   'scales': array([], dtype=float32),
   'zero_points': array([], dtype=int32)},
  'shape': array([  1, 213], dtype=int32),
  'shape_signature': array([  1, 213], dtype=int32),
  'sparsity_parameters': {}},
 {'dtype': numpy.float32,
  'index': 385,
  'name': 'output_iris',
  'quantization': (0.0, 0),
  'quantization_parameters': {'quantized_dimension': 0,
   'scales': array([], dtype=float32),
   'zero_points': array([], dtype=int32)},
  'shape': array([ 1, 15], dtype=int32),
  'shape_signature': array([ 1, 15], dtype=int32),
  'sparsity_parameters': {}}]

我在模型输出中看到了213个值和15个值-所以我假设我得到了每个点的x/y/z坐标。在图像上运行模型后，我得到了-7000到+7000范围内的值。我的输入是一张64x64的图像，你知道这些点与原始图像是如何对应的吗？

我希望有眼睛关键点的像素坐标，这是在mediapipe示例中渲染的。

Answer 1

模型卡看起来是错误的，它实际上输出3D坐标，模型输入和输出上也有一些归一化不清楚，但用于绘制2d地标。

我用我的调查结果here打开了一个github问题。我没有看到与模型卡相关的任何更改。

我创建了一个colab来演示正确的用法，here。您可以忽略z坐标，并将x/y坐标绘制到图像上以查看地标。

我可能应该用一个虹膜图片示例来更新colab。