将PCM数据附加到MediaSource

Question

因此，我有一个使用谷歌Shaka player进行视频回放的web应用程序。它使用MediaSource接口来流式传输音视频片段。

我想对我的音频轨道的原始PCM数据做一些音频处理。我看到它获取.mp4格式的音频片段，然后以ArrayBuffer的形式将这些片段附加到SourceBuffer，然后将其附加到MediaSource并播放。有没有办法劫持这个流，将数据解码到PCM，进行一些处理，然后通过管道将处理后的PCM返回到SourceBuffer？我看到有用于从.mp4到AudioContext.decodeAudioData的段的PCM，但是它返回一个AudioBufferSourceNode和AudioBuffer，它不能被附加到我的常规SourceBuffer中。有什么方法可以绕过这个问题吗？

我想我可以将我的PCM数据重新编码回.mp4，但这似乎是一个巨大的浪费。

Answer 1

在Chrome64中，您可以定义自己的AudioWorkletProcessor，并将其用于AudioWorkletNode实例化。

有关更多参考信息，请参阅AudioWorklet Examples。