如何使用C#跟踪视频流中橡皮筋矩形内的区域

Question

我正在做一个C#项目，名为用户发起的实时对象跟踪。我想要的是，将网络摄像头的输入输入到picturebox(使用dshownet完成)，然后使用鼠标在视频上绘制一个橡皮筋矩形(比如在一个人的脸/眼睛/鼻子/全身上-我想我会将其范围缩小到脸部)，然后我想跟踪橡皮筋矩形包围的区域。

我目前正在通过示例文件夹中的dshownet bitmapmixer示例来学习如何在视频上绘制(然而，我已经完成了橡皮筋矩形，现在的问题是让它在视频上工作)。

​

我的主要问题是跟踪橡皮筋矩形中包含的内容(矩形绘制后保持可见，除非使用按钮命令清除)。有人说要通过Face and eyes Detection(我真的不在我的项目中做检测)。好吧，我可能错了。

我的想法是这样的，我认为如果我可以考虑矩形外的区域作为背景，提取矩形内区域(前景)的颜色直方图，并检查它是否在随后的帧中弹出，我可以成功trackI实际上不知道如何通过代码实现这一点。这样做对吗？

顺便说一句，我认为跟踪器是矩形，只要视频是流的，它就会保持可见，并与视频中的人一起移动。首先，我用一个已保存的视频文件来试验这一切。

对如何追踪有什么建议吗？我用人体的哪个部位来跟踪它的动作，比如面部或全身，这很重要吗？

谢谢您抽时间见我。

Answer 1

听起来你需要的是检测每个帧中的人脸区域，并绘制一个覆盖该区域的矩形。我不是人脸检测领域的专家，但使用ASM做了自动漫画生成项目。分析颜色直方图是其中一种方法，但我记得基于形状的方法工作得更好。此外，请查看AAM，因为它是ASM的改进模型。如果你用谷歌搜索它们，你应该能找到很多文章。顺便说一句，如果你需要一个快捷的方法，我会推荐使用OpenCV。它已经有了非常好和简单的功能来检测一张图像中的多个人脸，并将这些区域作为矩形。