使用GStreamer实现视频流应用的需求

Question

我想创建一个使用GStreamer的无线视频流应用程序。我的要求是: H.264编解码器，RTP/MPEG2-TS流和网络上的RTP协议。

请任何人解释一下，我需要为它创建任何插件，或者现有的插件可以提供所有的功能？如果是，那么我应该使用哪些插件？我想补充一点，我将使用电话捕获视频，并通过网络从该设备传输到一个或多个特定地址。请回复。提前谢谢。

Answer 1

gstrtpbin应该可以处理所有的流需求。它将允许您将RTP流传输到一个或多个地址。有关如何使用它的说明，gstreamer source code有几种不同语言的示例。Gstreamer还允许您使用x264将视频编码为H.264流。这包含在“丑陋的”插件包中。

Answer 2

考虑到RTP (根据需要更改主机/ip)，下面的管道应该会有所帮助。根据您的要求，您可以用x264enc pass=qual quantizer=20 tune=zerolatency替换ffenc_mpeg4，用rtph264pay替换rtpmp4vpay。同样，在解码器端，您可以用x264dec替换ffdec_mpeg4，用rtph264depay替换rtpmp4vdepay。可能还需要调整的其他东西很少。

1) RTP发送摄像头和音频

gst-launch gstrtpbin name=rtpbin latency=0 v4l2src device=/dev/video0 ! typefind ! ffmpegcolorspace ! videoscale ! video/x-raw-yuv, width=640, height=480 ! videorate ! video/x-raw-yuv, framerate=30/1 ! ffenc_mpeg4 ! rtpmp4vpay send-config=true ! rtpbin.send_rtp_sink_0 rtpbin.send_rtp_src_0 ! udpsink port=5502 host=127.0.0.1 rtpbin.send_rtcp_src_0 ! udpsink port=5510 host=127.0.0.1 sync=false async=false udpsrc port=5510 ! rtpbin.recv_rtcp_sink_0 autoaudiosrc samplesperbuffer=1000 ! alawenc ! rtppcmapay ! rtpbin.send_rtp_sink_1 rtpbin.send_rtp_src_1 ! udpsink port=5504 host=127.0.0.1 rtpbin.send_rtcp_src_1 ! udpsink port=5512 host=127.0.0.1 sync=false async=false udpsrc port=5512 ! rtpbin.recv_rtcp_sink_1

2) RTP接收摄像头和音频

gst-launch gstrtpbin name=rtpbin2 latency=0 udpsrc caps="application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)MP4V-ES, profile-level-id=(string)1" port=5502 ! rtpbin2.recv_rtp_sink_0 rtpbin2. ! rtpmp4vdepay ! ffdec_mpeg4 ! videoscale ! video/x-raw-yuv, width=640, height=480 ! videorate ! video/x-raw-yuv, framerate=30/1 ! ffmpegcolorspace ! autovideosink udpsrc port=5510 ! rtpbin2.recv_rtcp_sink_0 rtpbin2.send_rtcp_src_0 ! udpsink host=127.0.0.1 port=5510 sync=false async=false udpsrc caps="application/x-rtp,media=(string)audio, clock-rate=(int)8000, encoding-name=(string)PCMA" port=5504 ! rtpbin2.recv_rtp_sink_1 rtpbin2. ! rtppcmadepay ! alawdec ! autoaudiosink buffer-time=10000 udpsrc port=5512 ! rtpbin2.recv_rtcp_sink_1 rtpbin2.send_rtcp_src_1 ! udpsink host=127.0.0.1 port=5512 sync=false async=false