ManipulationStation实例中的RGBD图像到点云

Question

在当前的提交中，ManipulationStation使用DepthImageToPointCloud从彩色图像和深度图像输入投影点云。然而，在文档中，它指出

请注意，如果提供了彩色图像，则必须与深度图像位于同一帧中。

在我的理解中，颜色和深度图像输入都来自RgbdSensor，它是从MakeD415CameraModel的信息中创建的。C和D都是两个不同的框架。

我认为由此产生的点云有错误的颜色。我在类似的设置上测试了它，但没有精确地测试MakeD415CameraModel。目前，我通过在MakeD415CameraModel中强制C和D是相同的帧来解决这个问题。

我的问题是:德雷克是否有类似于kinect库的方法，将深度图像和来自不同帧的彩色图像进行映射？毕竟这是模拟，也许这是过火了？

我正试着模拟Azure Kinect的图像，这就是问题所在。

Answer 1

https://github.com/RobotLocomotion/drake/issues/12125讨论了这个问题，它有一个解决方案(如果您的模拟可能伪造，并且深度和摄像机帧相同，尽管这与实际的传感器略有不同)，或者有指向另一种解决方案的指针(cv2.RegierDepth算法)。最终，如果能在德雷克中建立一个类似于寄存器的功能，那就太好了，但到今天为止，它还没有出现。