基于WebRTC、Node.js和语音识别引擎的实时语音识别

Question

A.我正在努力实现的.

允许在web浏览器中进行实时语音识别的web应用程序(如this)。

B.我目前正在考虑使用的技术来实现A.

• JavaScript
• Node.js
• WebRTC
• Microsoft或Pocketsphinx.js或其他(不能使用网络语音API)

C.非常基本的工作流

1. Web浏览器建立与节点服务器的连接(服务器充当信令服务器，还提供静态文件)
2. 网络浏览器使用getUserMedia()获取音频流，并将用户的语音发送到节点服务器
3. 节点服务器将接收到的音频流传递给语音识别引擎进行分析。
4. 语音识别引擎将结果返回给节点服务器
5. 节点服务器将文本结果发送回启动web浏览器。
6. (节点服务器执行步骤1至5以处理来自其他浏览器的请求)

D.问题

1. Node.js是否适合实现C？
2. 如何将接收到的音频流从节点服务器传递到与服务器分离运行的语音识别引擎？
3. 我的语音识别引擎是否可以作为另一个Node应用程序运行(如果我使用Pocketsphinx)？所以我的节点服务器与我的节点语音识别服务器通信。

Answer 1

Node.js是否适合实现C？

是的，虽然没有硬性要求。有些人正在使用gstreamer运行服务器，例如检查

http://kaljurand.github.io/dictate.js/

节点也应该没问题。

如何将接收到的音频流从节点服务器传递到与服务器分离运行的语音识别引擎？

节点到节点的通信有很多种方式。其中一个是http://socket.io。还有plain sockets。特定的框架取决于您对容错和可伸缩性的需求。

我的语音识别引擎是否可以作为另一个Node应用程序运行(如果我使用Pocketsphinx)？所以我的节点服务器与我的节点语音识别服务器通信。

是的，当然。您可以创建一个节点模块来扭曲pocketsphinx。

更新:检查一下，它应该与您所需要的类似：

http://github.com/cmusphinx/node-pocketsphinx

Answer 2

您应该联系Andre，他在去年秋天的火狐峰会上展示了类似于此的演示程序，现在正在参加Google暑期代码项目，在Firefox/FxOS：http://cmusphinx.sourceforge.net/2014/04/speech-projects-on-gsoc-2014/中实现离线语音识别。