根据mp3/wav自动唇同步

Question

我想在我的网络应用程序中创建动画头。我需要的似乎是CSS3转换、动画和背景特性，再加上一些javascript web API的帮助。在我看来，使用X面似乎是过头了，卡通解决方案几乎是我所需要的。我要把它做成卡通。

我已经制作了一些进展 (可以创建语音控制的web应用程序)，但这一次我需要mp3/wav输入，而不是通过x-webkit-speech从麦克风直接使用x-webkit-speech服务器的声音。

我现正考虑这样做：

1. 将语音记录到mp3或wav中，并写入其字符串内容
2. 在浏览器中播放mp3并使用AnalyserNode检测单词的结尾，以同步字符串中的位置(我使用捷克语言，与英语不同，它的语音速度几乎是恒定的)。
3. 根据实际的口语字母显示卡通头像(见上面的链接)。

的问题：是否有更低的精力(更短的程序员和设计者的开发时间)的方法？尤其是第二步和未来的英语语言让我很担心。也许某些卡拉OK工具可以产生一些语音同步文件(我可以将这些文件解析为CSS3关键帧)？我不知道有这样的工具。

Answer 1

对于更多涉及到的问题，您可以尝试：

第一步. Web语音API到文本到语音.

http://updates.html5rocks.com/2013/01/Voice-Driven-Web-Apps-Introduction-to-the-Web-Speech-API

第二步尝试将"papagayo“移植到js (我相信用字典将单词和音素与嘴的姿势联系起来)。

http://anime.smithmicro.com/papagayo.html

GNU的源代码可以在这里获得：source.zip

您还可以参考：http://www.adobe.com/devnet/flash/articles/lip-sync-smartmouth.html来了解您正在努力实现的目标。

Answer 2

也许你可以用光谱分析快速而肮脏地做一些事情：http://0xfe.muthanna.com/wavebox/