如何使用OpenCV从图像中检测旋转对象？

Question

我一直在训练OpenCV分类器，用于识别books.The要求是从图像中识别书籍。我使用过1000+图像，OpenCV能够检测出没有旋转的书籍。然而，当我尝试检测带有旋转的书籍时，它不起作用，我想知道他们是否无论如何都要使用OpenCV来检测图像中具有旋转的对象？

Answer 1

您使用哪些功能来检测您的图书？你是在训练CNN并将其与OpenCV一起部署吗？在这种情况下，将旋转图像增强添加到训练中将使检测旋转图书变得更容易。

如果你使用传统的计算机视觉技术，你可以尝试使用一些旋转不变的特征提取器，如SURF，然而，结果将不如使用can，这是目前解决此类问题的最新技术。

Answer 2

使用OpenCV和关键点匹配算法(如SURF或ORB )可以完美地解决您的问题。你真的不需要分类器。根据我的经验，这种使用未经修改的openCv的解决方案可以扩展到识别大约10.000张图像。

我要做的是:离线:循环遍历您的图书图像，以生成一个关键点描述符的数据库，该数据库将每个描述符与它所在的图书的id相匹配。在线:计算查询图像的关键点，并尝试将每个关键点与预先计算的数据库的关键点进行匹配(使用BF、FLANN或LSH)。投票给与最多查询关键点匹配的数据库书籍封面。尝试计算选定的数据库书籍封面和查询图像之间的单应矩阵，以验证匹配。

ORB、BRISK、SURF、SIFT特征描述符都可用于此任务，并且旋转不变。ORB和BRISK速度更快，但性能稍差。

有关简单示例，请参阅此链接：https://docs.opencv.org/3.3.0/dc/dc3/tutorial_py_matcher.html

Answer 3

首先，你应该了解和的主要理论思想。

你应该定义一些书的要点(一些对每种类型的书都有效的特殊而强大的功能)，然后你可以使用这些点来估计书的姿势。在获得姿势角度后，您应该扭曲图像以对齐书籍。在图书对齐之后，您应该执行特征提取，以便通过这种方式提高图书检测的成功率。

综上所述，姿态估计和warping (对齐)对于这些类型的旋转问题很重要。