两名球员之间的同步声音和画面

Question

我正在构建一个卡拉OK应用程序，它可以与视频一起唱歌，所以我的问题是:我正在录制用户视频(仅从前面的摄像机拍摄)，同时在单独的音频记录上应用带有音频的语音过滤器。现在在我的回放中，我想在同步模式下播放视频和音频，但是它没有成功，因为视频和音频有一个输出同步。我使用akplayer作为音频，所以我可以应用语音模块和vlckit来播放用户视频。

         do {

        //MARK: VLC kit part of the video setup
        Vlc_VideoPlayer = VLCMediaPlayer()

        Vlc_VideoPlayer.media = VLCMedia(url: recordVideoURL)
        Vlc_VideoPlayer.addObserver(self, forKeyPath: "time", options: [], context: nil)
        Vlc_VideoPlayer.addObserver(self, forKeyPath: "remainingTime", options: [], context: nil)

        Vlc_VideoPlayer.drawable = self.CameraView

        //MARK: Audiokit with AKPlayer Setup

        file = try AKAudioFile(forReading: recordVoiceURL)
        player =  AKPlayer(audioFile: file)
        self.player.preroll()
        delay = AKVariableDelay(player)
        delay.rampTime = 0.5
        delayMixer = AKDryWetMixer(player, delay)

        reverb = AKCostelloReverb(delayMixer)
        reverbMixer = AKDryWetMixer(delayMixer, reverb)
        booster = AKBooster(reverbMixer)
        tracker = AKAmplitudeTracker(booster)
        AudioKit.output = tracker
        try AudioKit.start()
        }catch{
        print (error)
              }
        self.startPlayers()

现在是startPlayers函数：

func startPlayers(){
    DispatchQueue.main.asyncAfter(deadline: .now() + 1) {
        if AudioKit.engine.isRunning {


                self.Vlc_VideoPlayer.audio.isMuted = true
                self.Vlc_VideoPlayer.play()



            self.player.isLooping = false
            self.player.play()




        }else{
            self.startPlayers()
        }
    }

    }

Answer 1

我对VLC播放器一无所知，但是内置的AVPlayer有一个与时钟同步的选项：

var time: TimeInterval = 1 // 1 second in the future

videoPlayer.masterClock = CMClockGetHostTimeClock()

let hostTime = mach_absolute_time()

let cmHostTime = CMClockMakeHostTimeFromSystemUnits(hostTime)
let cmVTime = CMTimeMakeWithSeconds(time, preferredTimescale: videoPlayer.currentTime().timescale)
let futureTime = CMTimeAdd(cmHostTime, cmVTime)
videoPlayer.setRate(1, time: CMTime.invalid, atHostTime: futureTime)

然后，AKPlayer使用其调度函数支持mach_absolute_time() hostTime的同步。正如上面所述，这两者将开始紧密结合，但没有任何同步的保证。

Answer 2

试图启动两个播放器将工作的纯外观，除非你有办法同步播放后，它将不是完美的。理想情况下，您也应该使用VLC播放音频，以利用其内部同步工具。

为了迭代您现在拥有的内容，我建议使用VLC开始播放，直到它解码第一个帧为止，暂停，启动您的音频，并在您解码第一个音频示例后立即使用VLC继续播放。这仍然不是完美的，但可能更好。