是否可以在浏览器中访问实时音频流？

Question

我想为失聪的人写一个web应用程序，允许他们在电话中打字作为交谈的一种方式。它的目标是让失聪人士在网页上输入电话号码，发起电话呼叫，实时将接收端的语音转录为文本，并将响应端的文本实时转换为语音。

我计划使用Twilio进行呼叫，捕获音频流，使用语音识别API转录语音，并使用Twilio的文本到语音转换功能来转换文本。

我知道Twilio没有实时转录的能力，我似乎也找不到一种通过twilio.connection对象访问音频流的方法。因此，我正在考虑使用Media Capture API来捕获该语音。这有可能吗？

Answer 1

是的，这是可能的。但是可能会有一些浏览器依赖性。Simple示例可以在这里找到。代码应该是这样的。

   var constraints = {
        video: true,
        audio: true,
    };

    if(navigator.mediaDevices.getUserMedia) {
        navigator.mediaDevices.getUserMedia(constraints).then(getUserMediaSuccess).catch(errorHandler);
    } else {
        alert('Your browser does not support getUserMedia API');
    }

Answer 2

它可以通过Twilio设备api访问

Twilio.Device.activeConnection().mediaStream