机器学习: RGBD流和相关组件的处理问题

Question

我想实验机器学习(特别是CNN)在对齐的RGB和深度流的英特尔RealSense或Orbbec天文相机。我的目标是做一些对象识别，并在输出视频流中高亮/标记它们(作为起点)。

但是，在阅读了许多文章之后，我仍然对涉及到的框架以及数据是如何通过涉及的软件组件从摄像机中流动感到困惑。我只是不能拍到一张高水平的照片。

这是我对处理流程的假设：

传感器=>驱动程序=> libRealSense / Astra => TensorFlow

问题

• 我对处理的假设正确吗？
• Orbbec提供了一个额外的Astra OpenNI SDK，除了Astra SDK，因为英特尔有包装器(?)OpenCV和OpenNI。我什么时候或者为什么需要这个额外的库/支持？
• 最快的开始方式是什么？我更喜欢C#而不是C++

Answer 1

• 您的假设是正确的:数据采集流程是：sensor -> driver -> camera library -> other libraries built on top of it (参见OpenCV support for Intel RealSense)-> captured image.，一旦您获得了图像，当然您可以做任何您想做的事情。
• 各种库允许您轻松地使用设备。特别是，与Intel RealSense支持一起编译的RealSense允许您使用OpenCV标准数据采集流，而无需担心来自传感器的图像格式和英特尔库使用的图像格式。10/10使用这些库，它们会使你的生活更轻松。
• 您可以从Intel RealSense (https://github.com/IntelRealSense/librealsense/tree/master/wrappers/opencv)的RealSense包装器文档开始。一旦您能够捕获RGBD映像，您就可以使用tf.data为您的模型创建输入管道，并在tensorflow中开发在RGDB映像上使用can的任何应用程序(只需谷歌它并查看arxiv，以了解可能的应用程序)。

一旦您的模型经过了培训，只需导出经过训练的图表并将其用于推理，您的管道就会变成：sensor -> driver -> camera library -> libs -> RGBD image -> trained model -> model output。