将画布上的视频转换为3d网格的合适起点是什么

Question

目前在JavaScript中是否有一个库可以将Canvas中的视频流转换为3D网格？

一种示例情况是将相机对准杯子并捕获原始图像，将先前数据与新数据进行比较以生成视图内对象的边缘轮廓，理想地将其转换为最简单的多边形集合，并在第二个画布元素中显示计算出的多边形/模型。

我已经看到mrdoob在3d javascript上的一些出色工作，从目标文件到画布渲染，但我希望捕获原始数据并尝试生成网格。其目的是通过套接字在2个用户之间发送网格点，以获取当前在相机视图中捕获的任何对象。

感谢您的帮助。

Answer 1

这是一个相当复杂的问题。大多数算法需要两幅图像(立体视觉系统)才能识别2d信息并将其处理为3d对象。使用网络摄像头和Javascript支持来实现这一点是一个相当大的挑战:)

基本上，我认为你必须结合一些计算机视觉技术(边缘检测，过滤，3d到2d映射，...)。

以下是一些可能有用的信息

Javascript的计算机视觉库- https://github.com/alex-m/seevee.js/wiki (移植了一些众所周知的opencv函数)-对于获取网络摄像头图像、3d处理等很有用

轻量级3D库- https://github.com/mrdoob/three.js/

请参阅此方法http://www.eng.cam.ac.uk/news/stories/2009/3D_models/

Answer 2

它不是一个库，但这里是您正在寻找的技术的演示。

Webcam Mesh