如何处理来自WebRTC的音频？

Question

我正在用webRTC和firebase做一些事情。像这样的enter link description here

在某些情况下，我想对来自webRTC的远程音频进行一些实时处理。

有一种方法可以使用web音频API来处理音频。但是我找不到音频缓冲器在哪里。

可以从webRTC或firebase数据中获取音频缓冲区吗？

Answer 1

const ac = new AudioContext();

pc.onaddstream = event => {
    const src = ac.createMediaStreamSource(event.stream);
    const processNode = ac.createXXXX(); // create Web Audio API process Node(ex: ac.createAnalyser(), ac.createGain(), ac.createDeray(), etc...)
    src.connect(proccesNode);
    processNode.connect(ac.destination);
};

但是，onaddstream是旧的spec事件处理程序。新的spec事件处理程序正在运行。

pc.ontrack = evt => {
    // ...
    if(evt.track.kind !== 'audio') return; 
    const src = ac.createMediaStreamTrackSource(evt.track);
    const processNode = ac.createXXXX(); 
    src.connect(proccesNode);
    processNode.connect(ac.destination);
};