实时视频(图像)拼接

Question

我正在考虑使用Visual Studio2008上的OpenCV 2.3.1实时拼接来自2个或更多(目前可能是3到4个)摄像头的图像。

然而，我很好奇它是如何做到的。

最近，我研究了一些基于特征的图像拼接技术。

它们中的大多数至少需要以下步骤：

1.特征检测2.特征匹配3.查找单应性4.目标图像到参考图像的转换...etc

现在我读到的大多数技术都只处理“一次”的图像，而我希望它处理从几个摄像头捕获的一系列图像，并且我希望它是“实时的”。

到目前为止，这听起来可能仍然令人困惑。我描述的是细节：

在不同的角度和位置放置3个摄像头，每个摄像头必须与相邻的摄像头有重叠区域，以构建实时视频拼接。

我想要做的是类似于以下链接中的内容，其中使用了ASIFT。

http://www.youtube.com/watch?v=a5OK6bwke3I

我试着咨询那个视频的所有者，但没有得到他的回复：

是否可以使用图像拼接方法来处理视频拼接？视频本身是由一系列图像组成的，所以我想知道这是否可能。然而，无论您使用哪种特征检测器(SURF、SIFT、ASIFT...etc)，检测特征点似乎都非常耗时。这让我怀疑做实时视频拼接的可能性。

Answer 1

我曾经在一个实时视频拼接系统上工作过，这是一个困难的问题。由于保密协议的原因，我不能透露我们使用的完整解决方案，但我实现了类似于the one described in this paper的东西。最大的问题是处理不同深度的对象(简单的单应性是不够的)；必须确定深度差异，并对视频帧进行适当的扭曲，以便对齐共同的特征。这本质上是一个立体视觉问题。images must first be rectified，以便共同的特征出现在同一扫描线上。

Answer 2

你可能也会对我几年前的项目感兴趣。这是一个程序，可以让你尝试不同的拼接参数，并实时观察结果。

项目页面- https://github.com/lukeyeager/StitcHD

演示视频- https://youtu.be/mMcrOpVx9aY?t=3m38s