利用OpenPose实现视频中人体骨骼角度的计算

Question

免责声明:这个问题是关于OpenPose的，但这里的关键实际上是如何使用输出(存储在JSON中的坐标)，而不是如何使用OpenPose，所以请考虑从头到尾阅读它。

我有一个人从侧面骑自行车的视频(他坐着的个人资料，以便我们看到右侧)。我使用OpenPose来提取骨架的坐标。OpenPose在JSON文件中提供坐标，如下所示(请参阅explanation的文档)：

{
  "version": 1.3,
  "people": [
    {
      "person_id": [
        -1
      ],
      "pose_keypoints_2d": [
        594.071,
        214.017,
        0.917187,
        523.639,
        216.025,
        0.797579,
        519.661,
        212.063,
        0.856948,
        539.251,
        294.394,
        0.873084,
        619.546,
        304.215,
        0.897219,
        531.424,
        221.854,
        0.694434,
        550.986,
        310.036,
        0.787151,
        625.477,
        339.436,
        0.845077,
        423.656,
        319.878,
        0.660646,
        404.111,
        321.807,
        0.650697,
        484.434,
        437.41,
        0.85125,
        404.13,
        556.854,
        0.791542,
        443.261,
        319.801,
        0.601241,
        541.241,
        370.793,
        0.921286,
        502.02,
        494.141,
        0.799306,
        592.138,
        198.429,
        0.943879,
        0,
        0,
        0,
        562.742,
        182.698,
        0.914112,
        0,
        0,
        0,
        537.25,
        504.024,
        0.530087,
        535.323,
        500.073,
        0.526998,
        486.351,
        500.042,
        0.615485,
        449.168,
        594.093,
        0.700363,
        431.482,
        594.156,
        0.693443,
        386.46,
        560.803,
        0.803862
      ],
      "face_keypoints_2d": [],
      "hand_left_keypoints_2d": [],
      "hand_right_keypoints_2d": [],
      "pose_keypoints_3d": [],
      "face_keypoints_3d": [],
      "hand_left_keypoints_3d": [],
      "hand_right_keypoints_3d": []
    }
  ]
}

据我所知，每个JSON都是视频的一帧。

我的目标是检测特定坐标的角度，例如右膝、右臂等。例如：

openpose_angles = [(9, 10, 11, "right_knee"),
                   (2, 3, 4,   "right_arm")]

这是基于以下OpenPose骨架虚拟对象的：

​

​

我所做的是计算三个坐标之间的角度(使用Python)：

temp_df = json.load(open(os.path.join(jsons_dir, file)))
listPoints = list(zip(*[iter(temp_df['people'][person_number]['pose_keypoints_2d'])] * 3))

count = 0
lmList2 = {}
for x,y,c in listPoints:
    lmList2[count]=(x,y,c)
    count+=1

p1=angle_cords[0]
p2=angle_cords[1]
p3=angle_cords[2]
x1, y1 ,c1= lmList2[p1]
x2, y2, c2 = lmList2[p2]
x3, y3, c3 = lmList2[p3]

# Calculate the angle
angle = math.degrees(math.atan2(y3 - y2, x3 - x2) -
                     math.atan2(y1 - y2, x1 - x2))
if angle < 0:
    angle += 360

我在一些博客上看到了这种方法(我忘了在哪里)，但它与OpenCV有关，而不是OpenPose (不确定是否有区别)，但看到的角度是没有意义的。我们把它展示给我们的老师，他建议我们使用向量来计算角度，而不是使用math.atan2。但我们对如何实现这一点感到困惑。

总而言之，这里有一个问题--计算角度的最佳方法是什么？如何使用向量来计算它们？

Answer 1

你的老师是对的。我怀疑问题是3个点可以组成3个不同的角度，这取决于顺序。只要考虑三角形中的角度就可以了。另外，你似乎忽略了第三个坐标。

重建骨架

在您的图片中，您指示骨架的边缘/骨骼是

edges = {(0, 1), (0, 15), (0, 16), (1, 2), (1, 5), (1, 8), (2, 3), (3, 4), (5, 6), (6, 7), (8, 9), (8, 12), (9, 10), (10, 11), (11, 22), (11, 24), (12, 13), (13, 14), (14, 19), (14, 21), (15, 17), (16, 18), (19, 20), (22, 23)}

我从你的json文件中得到了这些分数。

np.array(pose['people'][0]['pose_keypoints_2d']).reshape(-1,3)

现在我绘制了忽略第三个组件的图表，以了解我正在使用的内容。请注意，这不会改变太多的比例，因为与其他组件相比，第三个组件确实很小。

​

一个人肯定能认出一个颠倒的人。我注意到似乎有某种伪像，但我怀疑这只是识别上的错误，在其他帧中会更好。

计算角度

回想一下，点积除以范数的乘积得到角度的余弦。参见the wikipedia article on dot product。我将包括这篇文章中的相关图片。

所以现在我可以像这样得到两条连接边的角度。

def get_angle(edge1,  edge2):
    assert tuple(sorted(edge1)) in edges
    assert tuple(sorted(edge2)) in edges
    edge1 = set(edge1)
    edge2 = set(edge2)
    mid_point = edge1.intersection(edge2).pop()
    a = (edge1-edge2).pop()
    b = (edge2-edge1).pop()
    v1 = points[mid_point]-points[a]
    v2 = points[mid_point]-points[b]

    angle = (math.degrees(np.arccos(np.dot(v1,v2)
                                    /(np.linalg.norm(v1)*np.linalg.norm(v2)))))
    return angle

例如，如果你想要肘部角度，你可以这样做

get_angle((3, 4), (2, 3))
get_angle((5, 6), (6, 7))

给你

110.35748420197164
124.04586139643376

当我看着我的骨架照片时，这对我来说是有意义的。这比直角要大一点。

如果我必须计算两个不共享一点的向量之间的角度呢？

在这种情况下，你必须更加小心，因为在这种情况下，向量的方向很重要。首先，下面是代码

def get_oriented_angle(edge1,  edge2):    
    assert tuple(sorted(edge1)) in edges
    assert tuple(sorted(edge2)) in edges
    
    v1 = points[edge1[0]]-points[edge1[1]]
    v2 = points[edge2[0]]-points[edge2[1]]
    angle = (math.degrees(np.arccos(np.dot(v1,v2)   
                              /(np.linalg.norm(v1)*np.linalg.norm(v2)))))
    return angle

正如你所看到的，代码要简单得多，因为我不会为你排序这些点。但这是危险的，因为两个向量之间有两个角度(如果你不考虑它们的方向)。确保两个矢量都指向您正在考虑的角度所在的点的方向(两者在相反的方向上也有效)。

下面是与上面相同的示例

get_oriented_angle((3, 4), (2, 3)) -> 69.64251579802836

正如您所看到的，这与get_angle((3, 4), (2, 3))不一致！如果你想要相同的结果，你必须在两种情况下把3放在前面(或最后)。

如果你这样做了

get_oriented_angle((3, 4), (3, 2)) -> 110.35748420197164

与上面的角度相同。