手语识别

Question

我是信息技术专业最后一年的本科生。我和我的团队已经把“手语识别”作为我们最后一年的项目。我们刚刚开始收集信息(收集数据)。我们计划使用仪器手套作为输入设备。但我们在这方面的知识不多。

此外，我们发现了以下训练系统的实际识别手势，因此手语的方法。

1. 神经网络
2. 符号学习算法
3. 隐马尔可夫模型
4. 实例学习
5. 基于语法的技术

请告诉我我应该用哪一个来识别。

另外，告诉我有关仪器手套和有什么具体的品种，我们应该选择我们的项目？

Answer 1

现在在GA技术公司公司( Thad Starner )在1995年就成功地让这款产品与HMMs和一款头戴式摄像机一起工作。我想，从那时起，随着处理能力和传感器的大幅增加，你会有一些好运气。

泰德·斯塔纳和亚历克斯·彭特兰。利用隐马尔可夫模型实时识别视频中的美国手语。“计算机视觉国际研讨会论文集”，珊瑚山墙，佛罗里达州，美国，1995年。IEEE计算机学会出版社。

然而，您必须在数据清理/过滤到HMM之前进行大量的数据清理/过滤。这是一项信号处理任务，可以使用模糊逻辑对输入进行分类(看看鼠标手势识别是如何完成的)，并使用类似于NN的方法对数据进行降采样。

Answer 2

我认识一些ASL？在过去被计算机捕获和识别，那是很久以前的事了。我记得在VHS上看过这个视频。最迟1994年。

手语(不止一种)是典型的多渠道媒体-不仅仅是手部，所以手套可能不够(取决于你的目标)。我的ASL几乎不存在，但是英国手语使用类似的东西(需要一点盐，我很生疏)：

• “语音”：
  • 26个手形(手指的配置)。
  • 不同的手定位
  • 各种手启动位置
  • 各种手部动作
  • 肩部形状。
  • 头部位置和倾斜。(在BSL中，轻微的“点头”表示第一人称)
  • 眉毛和眼睛。
  • 嘴的形状。
  • 对上下文敏感的整体表达式。可能发生了一些不好的事情，但您的表达式可能会短暂地更改为符号所需的表达式。

• 语法：
  • 签名空间(就身体而言，允许使用标志)
  • 与英语语法有很大的不同。例如，BSL通常遵循宾语-主语-动词语序，其中像猫狗追逐(“狗追猫”)这样的句子是规范的。
  • 空间代词:手工拼写一个名字，指向签名空间中的一个位置，然后你可以指向那里，而不是手工拼写或签名名称。
  • 动词方面:我不知道ASL，但是BSL有一些非常复杂的方面。你可以通过延长“保持时间”(标志的起始状态)并使运动突然来强调一个符号。更多的方面，我现在可以想到的是，无论什么事情发生缓慢，迅速(和多慢或多快)，方向的旅行，签署者的态度，等等。“他们盯着我看了很长时间，我被推迟了”本质上是一个动词“看”，有很多方面。

• 语法:再一次，和你习惯的完全不同。BSL介于日语和西班牙语之间，但这可能过于简单化了。
• 并发症:在BSL中，手指拼写稍微遵循规则(在ASL中则不是这么多)。这里有大量的社区--当地的俚语(手语不是书面的，所以它们很像写作发明之前的口语-在某些情况下，男孩在男校毕业，女孩在女子学校毕业后发现他们有非常不同的语言)，还有相当多的外来词。我最喜欢的一个俚语(可能只有苏格兰语)，意思是“我爱你”，它是由ASL字母I、L、Y(认为标准蜘蛛侠手势)组合而成的及物动词(符号从接近签名者的躯干移动到目标人物)：BSL中的一个完全无效的手形，但变成了BSL动词。

我认为，要成功捕获和解析所有这些通道，您将面临很大的压力。也许读一个适当限制的子集可能是个好主意:基本的手写体(ASL的拼写非常清楚，今天应该很容易)和一些基本的动作。您可能不得不限制您解析的句子的复杂性，因为您可能无法可靠地捕捉所有方面。

对于本地签名者来说，这个软件有点像手语听力学习者，错过了很多东西。我想签字人会很快适应的。毕竟，母语为英语的人仍然可以理解一个句子，即使有些文章缺失了。

Answer 3

大量借用评论:我认为你应该研究现有的图像识别算法。就我个人而言，我只是简单地实现了一个现有的开源开源。一旦你对一个人有了一些了解和安慰，就把它训练在一个单一的标志上。

使用手套的输出来生成图像。为此，我将寻找一个手套，它可以提供易于翻译到图像的输出，例如表示数字位置的位表。然后将图像传递到图像识别软件中。

一旦他们一起工作，手套和图像识别软件，你应该转移到任何你想要的用户界面，如语音或文本输出。

最后，继续添加标记，每次添加后测试，直到你的学期结束，或者系统性能下降太多。