用于基于姿态的动作识别的计算器节点

Question

我想将action_reconition计算器节点添加到pose_landmark检测器(pose_landmark_gpu.pbtxt)中。有没有人知道是否已经有一个适合这个目的的计算器实现？

即

• 输入:姿态地标
• 基于tflite模型的推理
• 输出:相应动作类的概率值

我已经看到，最初的姿态地标探测器使用calculator.cc。我需要一个类似的文件，但对于不同的输入和输出类型。是否知道是否有一个“模板”cc文件，我可以适应我的用例？

为了更好地理解，下面是我编辑的pose_landmark检测器的pbtxt，还有一个用于操作分类的附加节点：

# GPU buffer. (GpuBuffer)
input_stream: "input_video"

output_stream: "output_video"  # Output image with rendered results. (GpuBuffer)
output_stream: "pose_landmarks"  # Pose landmarks. (NormalizedLandmarkList)
output_stream: "action_detection"  # Action Probabilities

node {
  calculator: "FlowLimiterCalculator"
  input_stream: "input_video"
  input_stream: "FINISHED:output_video"
  input_stream_info: {
    tag_index: "FINISHED"
    back_edge: true
  }
  output_stream: "throttled_input_video"
}

# Subgraph that detects poses and corresponding landmarks.
node {
  calculator: "PoseLandmarkGpu"
  input_stream: "IMAGE:throttled_input_video"
  output_stream: "LANDMARKS:pose_landmarks"
  output_stream: "DETECTION:pose_detection"
  output_stream: "ROI_FROM_LANDMARKS:roi_from_landmarks"
}

# Subgraph that renders pose-landmark annotation onto the input image.
node {
  calculator: "PoseRendererGpu"
  input_stream: "IMAGE:throttled_input_video"
  input_stream: "LANDMARKS:pose_landmarks"
  input_stream: "ROI:roi_from_landmarks"
  input_stream: "DETECTION:pose_detection"
  output_stream: "IMAGE:output_video"
}

# Subgraph that detects actions from poses
node {
  calculator: "ActionDetectorGPU"
  input_stream: "LANDMARKS:pose_landmarks"
  output_stream: "ACTION:action_detection"
}

更新

有一个名为SigNN的开源项目，它做的事情和我打算做的一样--手姿势分类(转换成美国手语字母)。我要把它挖出来..。

Answer 1

这里是一个类似问题的更一般的公式。有一种使用MediaPipeUnityPlugin的解决方案(但同样的图形也适用于纯mediapipe，尽管在编写本文时还没有发布驱动程序代码)。