ARCore对象识别是否可能？

Question

我的目标是将材料/纹理叠加到一个物理对象上(这将是一个建筑模型)，我将有一个相同的3d模型。模型将是静态的(如果这有帮助的话，在一个表上)，但是我显然想从任何方面查看对象。我的物理模型的足迹面积往往不小于15×15厘米，并且可能高达2-3米^2，但我愿意改变模型的大小，以配合ARCore的能力。

我知道ARCore的设计主要是为了将数字物体锚定在平面上。我的主要问题是，在目前的情况下，它是否能够实现我的最终目标？如果我有这个权利，它会记录物理点云数据，并试图将它与我的数字模型的点云数据相匹配，然后在手机屏幕上将两者重叠？

如果这真的不是ARCore的目的，那么我是否应该关注另一种选择呢？在我的头脑中，这听起来相当简单，但我相信，如果我用一种低效的方法去做，我肯定会走出我的深度。说到深度，我宁愿不使用深度传感器，因为我的目标设备是电话。

Answer 1

我最明确的希望是，这将是可能的未来-毕竟，一个AR工具包没有计算机视觉是没有帮助的。

不幸的是，根据ARCore员工Ian的说法，这是目前没有直接支持，但是您可以尝试通过glReadPixels访问像素，然后在这些图像字节中使用OpenCV。

伊恩的话：

我不能谈论未来的计划，但我同意这是一种理想的能力。不幸的是，我的理解是，目前的Android平台限制了提供一个既可用作GPU纹理又可访问CPU的图像的单一缓冲区，因此在提供该功能时必须小心。

Answer 2

更新:2022年9月25日。

目前，ARCore 1.33中还没有3D对象识别API。

但是..。您可以在某些任务中使用ML试剂盒框架和增强图像API (ARCore 1.2+)。

根据Google文档，您可以使用ARCore作为机器学习模型的输入。