基于Android4.3/4.4的谷歌PhotoSphere算法

Question

在Android4.3/4.4上的相机应用程序在“Sphere模式”下可以将不同方向的照片拼接成一个球形全景图，质量非常好。

结果说明：

• http://i-cdn.phonearena.com/images/articles/73441-image/google-nexus-4-photo-sphere.jpg
• resized.jpg

我要做的是用完全相同的功能为iPad实现一个应用程序。

我尝试了两种方法：

OpenCV 2.4.8

OpenCV 2.4.8提供了一个图像拼接流水线，乍一看，这似乎非常有希望。然而，它有两个问题：

1. 该流水线处理无序的输入照片，据我所知，它只使用图像特征匹配来定位照片之间的几何关系，当图像特征提取失败时，该流水线性能较差(例如，对空白照片进行提取失败)。白色的墙壁，蓝色的天空)。然而，iPad可以提供每一张照片的任意空间方向数据(尽管有噪声)，但我不知道如何在OpenCV拼接流水线中利用这些数据。
2. 我找不到一种方法来生成180 x360度的全景图，就像PhotoSphere使用这条管道所做的那样。在管道中向四面八方提供照片只会产生带有弯曲图像边界的大全景图。

PanoTools

我还尝试了PanoTools/Hugin，尽管这个库支持预定义的照片方向，但是结果非常糟糕和不稳定。此外，我尝试使用焦点(β)应用程序谷歌游戏，它的球面模式也是基于PanoTools/Hugin的，它们的结果(在球形模式下)似乎并不比我们的好。

我的问题：

1. 有什么图书馆可以像谷歌的PhotoSphere那样吗？由于我不为商业用途而开发，所以任何开源库都是可以接受的。
2. 有什么好的算法(或技术报告，学者论文)吗？如果有的话，哪个是最好的？
3. 谷歌是如何实现自己的PhotoSphere的？如有任何建议，将不胜感激。

Answer 1

您可以在这里查看Google相机应用程序的源代码：

https://android.googlesource.com/platform/packages/apps/Camera/+refs