基于立体视觉的目标识别

Question

我正在使用OpenCV Haar级联分类器创建一个静态手势识别系统。我最终想把这个识别系统变成一个立体识别系统。这是我的问题，我是否可以使用由Haar Cascade分类器创建的2D识别系统，并在两个摄像头上实现它，以便在使用OpenCV中包含的立体校准功能后创建视差图？或者，我是否必须用我已经校准的立体系统拍摄照片才能创建级联分类器？

很难找到关于这个主题的好信息，我想在购买和创建一切之前规划我的项目，并确保我做的事情是正确的。

谢谢。

Answer 1

首先，你应该弄清楚你想要完成的是什么。

您是否需要检测对象，然后在3D世界坐标中对其进行定位？或者你首先需要3D信息来检测物体吗？

在前一种情况下，有几条路要走。一种是校准你的立体相机系统，检测两个相机中的物体，然后通过三角测量找到它的3D位置。例如，您可能希望对对象的质心进行三角剖分。这种方法的问题是，级联对象检测器的2D定位可能不够精确，无法获得可靠的3D点。

另一种方法是校准你的相机，然后校正图像，使它们看起来好像相机是平行的和行对齐的。现在，您可以计算整个图像的视差图，并获得任何像素的相应3D位置(理论上)，而不是对特定点进行三角剖分。现在，您可以在1号摄影机中检测感兴趣的对象，然后使用视差图查找对象上任何点的3D位置。

另一方面，如果你想使用3D信息来提高你的检测能力，你必须阅读一些最新的研究。例如，这里有一篇关于people detection using RGB-D sensors的论文。本文讨论的是HOD (定向深度直方图)描述符，而不是HOG描述符。这与此相关的原因是，如果你校准你的相机并校正你的图像，你可以得到与你从像Kinect这样的RGB-D传感器获得的相同类型的深度图。