Gstreamer:用两个接收器将一个bin链接到playbin2

Question

我想读取一个SDP文件，并将视频流编码为h.264，将音频流编码为aac。然后，我想将这些流复用到一个avi流中，然后到一个文件中。我无法提前知道SDP文件的内容，因此使用playbin2似乎是最容易的。

所以，我想我可以做这样的事：

                             RawToAviMux Bin
                       ______________________________________
                ----- |ghostpad----x264enc
              /       |                   \
playbin2------        |                    avimux--filesink
              \       |                    /
               -------| ghostpad----ffenc_aac
                      |_______________________________________

 setting playbin2's videosink to an instance of RawToAviMux
      and playbin2's audiosink to the same instance of RawToAviMux

但是，我不能使管道进入播放状态。

以下是代码：

            recorder = new Gst.BasePlugins.PlayBin2();
            recorder.PlayFlags &= ~((Gst.BasePlugins.PlayBin2.PlayFlagsType)(1 << 2));
            recorder.Bus.AddSignalWatch();
            recorder.Bus.EnableSyncMessageEmission();

            RawToAviMuxer aviMuxer = new RawToAviMuxer(fileName);               

            recorder.VideoSink = aviMuxer;
            recorder.AudioSink = aviMuxer;

            recorder.SetState(Gst.State.Ready);
            recorder.Uri = @"file:///" + filePath.Replace('\\', '/');
            recorder.SetState(Gst.State.Paused);
            recorder.SetState(Gst.State.Playing);

            Gst.State currentState;
            Gst.State playingState = Gst.State.Playing;
            Gst.StateChangeReturn stateReturn = recorder.GetState(out currentState, out playingState, Gst.Clock.Second);

            if (stateReturn != Gst.StateChangeReturn.Failure)
                return true;

            return false;

用RawToAviMuxer作为

public class RawToAviMuxer : Gst.Bin
{
    bool test = false;

    public RawToAviMuxer(string outputFileName)
        : base("rawToAviMux")
    {
        Gst.Element x264Enc = Gst.ElementFactory.Make("x264enc");
        Gst.Element ffenc_aac = Gst.ElementFactory.Make("ffenc_aac");

        x264Enc["bframes"] = (uint)0;
        x264Enc["b-adapt"] = false;
        x264Enc["bitrate"] = (uint)1024;
        x264Enc["tune"] = 0x4;
        x264Enc["speed-preset"] = 3;
        x264Enc["sliced-threads"] = false;
        x264Enc["profile"] = 0;
        x264Enc["key-int-max"] = (uint)30;

        Gst.GhostPad videoToX264Pad = new Gst.GhostPad("video_sink", x264Enc.GetStaticPad("sink"));
        Gst.GhostPad audioToAACPad = new Gst.GhostPad("audio_sink", ffenc_aac.GetStaticPad("sink"));

        test = this.AddPad(videoToX264Pad);
        test = this.AddPad(audioToAACPad);

        Gst.Element aviMux = Gst.ElementFactory.Make("avimux");
        Gst.Element fileSink = Gst.ElementFactory.Make("filesink");

        test = this.Add(new Gst.Element[]{x264Enc, ffenc_aac, aviMux, fileSink});
        test = x264Enc.Link(aviMux);
        test = ffenc_aac.Link(aviMux);
        test = aviMux.Link(fileSink);

        fileSink["location"] = outputFileName;
    }
}

我已经通过调试器和所有的链接是成功的。

更新

好的，我用Gst.Parse.Launch尝试了以下管道：

uridecodebin uri=file:///C:/Users/Jonathan/AppData/Local/Temp/192.168.0.215_5000.sdp !
x264enc byte-stream=true bframes=0 b-adapt=0 tune=0x4 speed-preset=3 sliced-threads=false 
profile=0 ! mux. ffenc_aac ! mux. avimux name=mux ! filesink location=C:\Users\Jonathan\Desktop\test.avi

我还是不能摆脱停顿。

我使用的是窗口构建，所以我担心这可能有什么问题吗？

我也不能将消息处理程序附加到总线上，这样我就可以知道到底发生了什么，这真的开始变得很烦人了。

--我只是找到了这个，

如果我通过udpsrc元素直接获取流，并提前知道格式是什么，那么它并不只适用于rtph264depay元素。管道中必须有一个h264parse元素。这可能就是尿苷对我不起作用的原因？

解决了问题，我最后做了以下工作：

            if (!gst_is_init)
            {                
                Gst.Application.Init();
                gst_is_init = true;
            }

            if(recorder != null)
            {
                recorder.SetState(Gst.State.Null);
                recorder.Dispose();
            }

            string videoDepay, audioDepay, strExtension, strMuxer;

            GetGstElements(stream.VideoCaps, out videoDepay, out strMuxer, out strExtension);
            GetGstElements(stream.AudioCaps, out audioDepay, out strMuxer, out strExtension);

            fileName = Path.ChangeExtension(fileName, strExtension);

            //recorder = new Gst.Pipeline("recordingPipe");
            string pipeString = String.Format("udpsrc port={0} ! {1} {2} ! {3} ! queue ! mux. udpsrc port={4} ! {1} {5} ! {6} ! mux. {7} name=mux ! filesink location={8}",
                portToUse, "application/x-rtp,", stream.VideoCaps, videoDepay, (portToUse + 2), stream.AudioCaps, audioDepay, strMuxer, fileName.Replace("\\", "\\\\"));

            recorder = (Gst.Pipeline)Gst.Parse.Launch(pipeString);                

            recordingFileName = fileName;

                 recorder.SetState(Gst.State.Ready);                
            recorder.SetState(Gst.State.Paused);                
            recorder.SetState(Gst.State.Playing);

            Gst.State currentState;                

            Gst.StateChangeReturn stateReturn = recorder.GetState(out currentState, Gst.Clock.Second);            

            if (stateReturn != Gst.StateChangeReturn.Failure)
                return true;

            return false;

您必须为所有流拥有一个解析器，以便管道能够播放。因此，在不工作的h264流的情况下，我需要使用rtph264depay！h264parse。此外，NALU和字节流必须匹配时间才能正确。

此外，为了使文件可用，您必须在处理管道之前向下游发送EOS。

                recorder.SendEvent(Gst.Event.NewEos());
                System.Threading.Thread.Sleep(100);
                recorder.SetState(Gst.State.Paused);
                recorder.SetState(Gst.State.Ready);
                recorder.SetState(Gst.State.Null);
                recorder.Dispose();              

Answer 1

是的，这行不通。这是你怎么做的。Playbin2是一个模块化的组件，它由一个uridecodebin和一个playsinkbin组成。您只需使用和uridecodebin，设置您的媒体文件uri，添加信号处理程序的垫添加，并连接新创建的垫到您的rawtoavimux组件的接收器垫。

一种替代rawtoavimux的方法是使用encodebin。用尿嘧啶！如果一个或多个流的格式已经采用正确的格式，encodebin可以潜在地对智能转码进行转换，从而避免解码和重新编码。