ARKit -白纸检测

Question

我想构建一个非常简单的AR应用程序，它能够检测到周围的一张白色的A4纸。我认为使用苹果的图像识别样本项目和A4工作表比例中的白色示例图像就足够了，但是ARSession会失败。

一个或多个参考图像的纹理不足: white_a4、NSLocalizedRecoverySuggestion=One或多个图像缺乏足够的纹理和对比度来进行准确的检测。当一幅图像包含多个高对比度区域时，图像检测效果最好。

有没有一种简单的方法，用ARKit检测纸张？谢谢!

Answer 1

，我认为即使是ARKit 3.0也还没有为抽象白纸的检测做好准备，目前。

如果你有一张白纸，它的角上有一些标记，或者上面有一些文字，甚至，一张白纸放在一定的环境里(这是一种基于环境的检测，而不是在纸张本身上)--那么它就有一定的意义。

但是简单的白皮书上没有明显的标记，因此ARKit不了解它是什么，它的颜色是什么(例如，在房间外面有冷色，但在房间内有暖色)，对比度是什么(对比度在图像检测中的重要特性)，以及它是如何定向的(这主要取决于您的PoV)。

假设图像检测的常识是ARKit检测图像，而不是它的缺失。

因此，为了连续检测，您不仅需要给ARKit一个工作表，还需要给它周围的环境。

​

​

此外，在使用图像检测技术时，您可以查看苹果公司的建议：

• 在Xcode中尽可能准确地输入图像的物理大小。ARKit依靠这些信息来确定图像与摄像机之间的距离。输入一个不正确的物理尺寸将导致ARImageAnchor与相机的距离是错误的。
• 在Xcode中将引用图像添加到资产目录时，请注意Xcode提供的质量评估警告。高对比度的图像最适合用于图像检测。
• 仅使用平面上的图像进行检测。如果要检测到的图像位于非平面表面，就像酒瓶上的标签一样，ARKit可能根本检测不到它，或者在错误的位置创建图像锚。
• 考虑一下在不同的照明条件下你的图像是如何出现的。如果将图像打印在光面纸上或显示在设备屏幕上，则这些表面上的反射会干扰检测。

我必须补充说，您需要一个独特的纹理模式，而不是重复的。

Answer 2

您可以做的是运行一个简单的ARWorldTrackingConfiguration，在其中您定期分析相机图像的矩形使用视觉框架。

本文(https://medium.com/s23nyc-tech/using-machine-learning-and-coreml-to-control-arkit-24241c894e3b)描述了如何将ARKit与CoreML结合使用。