如何从深度图像和RGB图像生成点云？

Question

如何从深度或rgb图像生成点云？

示例：

​

​

我需要从深度或rgb图像生成一个点云，但我找不到代码。

我设法在3js中找到了一个，但我不能导出它，如果我可以通过深度和rgb图像生成一个点云，有人能帮我吗？

Answer 1

你可以看看PCL库是如何做到这一点的，using the OpenNI 2 grabber module：这个模块负责处理来自OpenNI兼容设备(例如Kinect)的RGB/深度图像。另一个例子是depth2cloud from ROS。让我们集中在前面的例子中。

首先，它获取intrinsic camera parameters。这通常是通过校准脱机完成的，或者您可能已经知道相机的参数。

  float constant_x = 1.0f / device_->getDepthFocalLength ();
  float constant_y = 1.0f / device_->getDepthFocalLength ();
  float centerX = ((float)cloud->width - 1.f) / 2.f;
  float centerY = ((float)cloud->height - 1.f) / 2.f;

然后，在一系列有效性检查和创建适当大小的缓冲区之后，对每个点执行sets the 3d coordinates：

  pt.z = depth_map[depth_idx] * 0.001f;
  pt.x = (static_cast<float> (u) - centerX) * pt.z * constant_x;
  pt.y = (static_cast<float> (v) - centerY) * pt.z * constant_y;

正如您从原始代码中看到的，它遍历深度图像的所有像素，然后使用相机参数将它们投影到3d空间中。

类似的推理也适用于convertToXYZRGBPointCloud函数，该函数还负责在点上设置正确的RGB颜色值。