VR中2D手势识别的最佳方法？

Question

我是一款游戏的开发者，这款游戏使用HTC Vive roomscale VR头戴式耳机进行手势识别，我正在努力提高手势识别的准确性。

(游戏，上下文：http://store.steampowered.com//app/488760。这是一个通过在空中绘制符号来施展咒语的游戏。)

目前我正在使用1美元算法进行2D手势识别，并使用与玩家的水平旋转绑定的正交摄像头来使玩家在空间中绘制的手势变平。

然而，我相信一定有更好的方法来解决这个问题！

我必须在指令中用2D表示手势，所以理想情况下我想：

找到展平手势的最佳矢量。将其展平为二维空间。使用最佳手势识别算法来识别它是什么手势。

如果在任何情况下都能接近100%的准确率，那就太好了。例如，目前，当玩家试图在战斗最激烈的时候画一个圆圈时，游戏往往会感到困惑，它假设玩家画的是Z形。

欢迎所有建议。提前谢谢。

Answer 1

在我看来，这个名为手势识别器3.0的插件可以让你很好地了解应该采取什么步骤

Gesture Recognizer 3.0

另外，我在github中找到了这个javascript手势识别库

Jester

希望能有所帮助。

Answer 2

信不信由你，但我在两个月前发现了这篇文章，并决定通过准备一个用于识别VR中魔术手势的Unity包来测试我的VR/AI技能。现在，我带着一个完整的VR演示回来了：https://ravingbots.itch.io/vr-magic-gestures-ai

​

​

识别系统跟踪手势向量，然后将其投影到2D网格上。如果您希望系统能够处理3D形状，您也可以非常容易地设置3D网格，但不要忘记提供捕获大量形状变化的适当训练集。

​

​

当然，这个包是通用的，您也可以将其用于非魔术应用程序。代码有很好的文档记录。呈现为PDF的联机文档包含1000+页面：https://files.ravingbots.com/docs/vr-magic-gestures-ai/

该包使用HTC Vive进行了测试。逐步增加对Gear VR和其他VR设备的支持。

Answer 3

就我个人而言，我推荐AirSig，它涵盖了更多功能，比如使用控制器进行身份验证。Vive版本和Oculus版本是免费的。“如果在任何情况下都能接近100%的准确率，那就太好了。”我的经验是它的内置手势准确率超过90%，签名部分超过96%。希望它能满足你的要求。