如何在Arcore中对齐深度和颜色？

Question

我正在为我的P30Pro编写一个小的安卓应用程序，在其中我想要在彩色图像中找到一个对象(面部，视觉标记，...)然后利用飞行时间相机得到的密集深度图像得到它的相对位置。为了同时跟踪相机，我运行ArCore并使用SharedSession通过frame.acquireDepthImage()访问彩色图像和深度图像。(两者都工作得很好，我得到了高分辨率的彩色图像和120x160深度的图像)

对于彩色图像，我通过camera.getImageIntrinsics获得本征校准，因此我可以在像素和相应的光线之间进行映射。然而，我发现深度相机没有相应的函数，因此我无法从深度图像创建点云，也无法获得彩色图像中像素的相应深度。

那么：“如何使用密集的深度图像在彩色图像中找到与给定像素对应的3D点？”

Answer 1

我之前在一个项目中使用了P20 Pro的密集深度图，我发现它们已经与高分辨率的彩色图像对齐了，尽管它们的分辨率要小得多。

换句话说，您应该只对深度图进行上采样，使其与彩色图像的分辨率相匹配。这样做之后，您会发现上采样深度图像中(r,c)处的插值深度值对应于彩色图像中(r,c)处的像素。