我能够使用AudioContext API在JavaScript中分析音频数据,并将波形绘制到画布上。
问题是,在加载音频数据之后,我有一个大约1024长的Uint8Array数据点,代表波长(每帧),我如何猜出这是什么声音(来自所提到的语音这里的选择,即:
一个
丽莎A
闭上嘴表示“P”、“B”和“M”的声音。这几乎与X形状相同,但嘴唇之间的压力却微乎其微。
乙
丽莎B
微微张开嘴,咬紧牙齿。这种口型用于大多数辅音(“K”、“S”、“T”等)。它也用于一些元音,如蜜蜂的“EE”声音。
C型
莉萨C
张嘴。这种口型用于元音,如“EH”(男性)和“AE”(蝙蝠)。它也用于一些辅音,视上下文而定。
在从A或B到D的动画中,这种形状也用作中间位置。所以,确保动画ACD和BCD看起来光滑!
丁
莉萨·D
张大嘴。这种口形用于元音,如父亲中的“AA”。
E型
莉萨E
稍微圆圆的嘴。这种口型用于元音,如“AO”为off,“ER”为“鸟”。
在从C或D到F的动画中,这种形状也用作中间位置。确保嘴巴不要比C更大。CEF和DEF都应该使动画流畅。
F型
莉萨·F
嘴唇起皱了。这个口型用于“UW”,如您,“OW”,如在展示,和“W”的方式。
G
莉萨G
上牙接触下唇的“F”表示“for”,“V”表示“非常”。
这种扩展的嘴形状是可选的。如果你的艺术风格足够详细,它将大大改善动画的整体外观。如果您决定不使用它,可以使用extendedShapes选项指定它。
H型
莉萨H
这个形状是用来长“L”的声音,舌头在上牙齿后面。口腔至少要像C一样张开,但不要像D那么大。
这种扩展的嘴形状是可选的。根据你的艺术风格和头部的角度,舌头可能根本看不见。在这种情况下,绘制这个额外的形状是没有意义的。如果您决定不使用它,可以使用extendedShapes选项指定它。
X型
丽莎X
闲置位置。这种口型用于言语中的停顿。当你的角色不说话的时候,这应该是你用的同样的嘴画。它与A几乎相同,但嘴唇之间的压力稍小:对于X,嘴唇应该封闭,但要放松。
这种扩展的嘴形状是可选的。休息位置X和闭着说话的嘴巴之间是否应该有明显的区别取决于你的艺术风格和个人品味。如果您决定不使用它,可以使用extendedShapes选项指定它。
)?
我知道有很多机器学习选项,比如梅达、丹瑟尔流和其他机器学习方法,但是我想要一个算法来实时地检测到上面的语音。它不需要100%的准确性,只是稍微好于随机选择某些值的口腔.在这一点上,任何比随机更好的东西都可以。
我知道音频识别可以用PocketSphinx.js来完成,这是在大黄鱼唇槽的计算中使用的,但是我想要的只是一个非常简单的算法,给出每帧一个波长的1024个数据阵列,如何获得语音,再说一遍,它不需要100%的精确性,但它必须是实时的,而且要比随机的好。
基本上,pocketsphinx的问题在于它的目的是获得语音对单词的识别,所以它有很多额外的代码来将声音翻译成它在字典中编译的准确单词,但我不需要只需要自己提取speech,而不需要将它们转换成字典,所以理论上不应该有那么多的声音被听到。
--我只想要一个简单的算法,它可以从AudioContext中获取已经获取的数据,相对地,在上面提到的列表中,什么声音又被做出来了,以使非常清楚:
我是而不是,我不是在寻找PocketSphinx解决方案,也不是任何其他“准备就绪”的库,我想要的只是上面提到的每一个独特的声音的数学公式,它可以适应任何编程语言。
发布于 2020-06-02 20:41:05
如果你不想要一个tensorflow答案的话,我不知道为什么这是标记TensorFlow。如果你想要的是比随机更好的东西,那么你几乎可以肯定地说,最好是使用像PocketSphinx这样的包,并将返回的单词分解成他们的语音。您所要求的是相当困难的:请参见讨论为什么是这里和这里的线程。
但是,如果你完全依赖于为这个找到算法.
在搜索时,我偶然发现了一些机器学习的最多项目,除了一些:本论文从2008年开始,这一个从1993年扩展到一个完整的博士论文,以及 麻省理工学院研究论文 从1997年的。下面是作者在上一次使用的算法示例,仅用于/R/声音:

文件说他们用C++实现了他们的算法,但不幸的是没有包含任何代码。
总之,我建议坚持使用PocketSphinx,除非这是您自己的博士研究的一部分!
更新:
应请求在此添加更多详细信息。Pocketsphinx解释说,如果你一直滚动到他们的自述文件中的第8节,他们使用的是一个叫做狮身人面像的机器学习平台,这个平台也有法语和中文版本。但是在狮身人面像的顶部,有一个链接到他们的“新库”沃斯克。
Vosk支持9种语言,并且很小,可以安装在Raspberry Pi上,所以它可能更接近你想要的。反过来,它使用了一个名为C++的开源卡尔迪语音识别工具包,它也使用机器学习。
Arduino比Raspberry Pis有更多的限制,我相信你知道,所以如果你要朝这个方向走的话,你可能真的很想联系麻省理工学院论文的作者。作者使用了一个有32 MB内存的200 MHz奔腾处理器,这大约是最好的Arduino的功率水平:Arduino Yun2包括一个带有64 MB RAM的400 MHz MHz微处理器。
希望这能给你足够的咀嚼力。祝好运!
https://stackoverflow.com/questions/62111935
复制相似问题