手的实时跟踪

Question

我正在尝试使用opencv实时检测和跟踪手部。我认为haar级联分类器会产生一个公平的结果。在分别用10k和20k正负图像进行训练后，我得到了一个分类器xml文件。不幸的是，它只在某些位置检测到手，证明它只对刚性物体最有效。因此，我现在正在考虑采用另一种算法，一旦通过haar分类器检测到，就可以跟踪手部。

我的问题是，如果我确保haar分类器在特定帧、特定位置检测到手，那么什么方法可以进一步产生鲁棒的手跟踪？

我在网上搜索了一下，了解到我可以去检测光流的手，或卡尔曼滤波器或粒子滤波器，但也遇到了自己的缺点。

另外，如果我加入立体视觉，它会对我有帮助吗，因为我可能会在3d中重建手。

Answer 1

你对Haar特性的结论是正确的-当涉及到非刚性对象时，它们并不是那么有用。

看看下面的论文，这些论文使用肤色来检测手。

1. Interaction between hands and wearable cameras
2. Markerless inspection of augmented reality objects

本文使用KLT特征在第一次检测后跟踪手部：

Fast 2D hand tracking with flocks of features and multi-cue integration

我要说的是，立体相机对你的事业没有多大帮助，因为非刚性物体的3D重建并不简单，需要大量的创新和开发。但是，如果您希望进行3D跟踪，可以查看this page的手势估计部分中的论文。

编辑:也可以看看this recent paper，它似乎得到了很好的结果。

Answer 2

张等人的Real-time Compressive Tracking做了一个合理的工作来跟踪一个物体，一旦它被其他方法检测到了，前提是运动不是太快。他们有一个OpenCV实现(但它需要一些工作才能重用)。

Answer 3

此research paper描述了一种通过使用立体摄像机设置来跟踪手的方法，而无需使用手套。