将二维图像映射到三维扫描数据

Question

给出了叶片的二维图像及其相应的stl/ply/pcd格式的三维扫描数据。使用python可以将2D图像映射到3D扫描数据上吗？或者，我们可以从2D图像中提取颜色信息，并使用python库将颜色纹理映射到3D扫描数据上吗？我正在做一个项目，我想定位叶片上的缺陷位置，我已经实现了人工智能算法来定位2D图像上的缺陷，但是现在我想将这些信息传递到3D CAD数据中。

Ps。我刚开始处理3D数据，所以任何建议都会有很大的帮助。

Answer 1

1. 如果你的3d数据意味着一个时间戳中来自激光雷达设备的点云数据，你可以计算从你的相机到你的激光雷达的转换，并将你的激光雷达投射到图像平面并得到颜色。您可以引用这里中的代码
2. 如果你的3d是从立体视觉软件收集的，比如colmap。图像和三维模型之间也存在着姿态关系。您可以采用与情景1相同的方法。
3. 最糟糕的情况是你的模型在图像和3d模型之间没有任何相对的姿态。解决方案是计算image-to-geometry结果。image-to-geometry方法将猜测图像相对于三维模型的三维姿态。
4. 如果您只想知道如何将纹理映射到三维模型。有一个回答。