Gstreamer视频+文本传输

Question

我正在编写一个gstreamer管道，使用命令行语法发送一个视频流，并希望与它一起发送数据。我认为可行的一个解决方案是将数据作为字幕文件发送。

我可以使用以下管道通过rtp复用视频和字幕文件：

gst-launch-1.0 rtpmux name=mux ! udpsink host=127.0.0.1 port=5000 \ 
filesrc location=movie.avi ! decodebin ! videoconvert ! x264enc ! rtph264pay ! mux.sink_0 \
filesrc location=movie.srt ! subparse ! rtpgstpay ! mux.sink_1

我知道它是应该到达的，因为我可以使用netcat查看接收数据的端口。但是，当我试图读取接收端gstreamer的流时，我会得到“语法错误”。我现在使用的管道是

gst-launch-1.0 udpsrc port=5000 caps = "application/x-rtp" ! rtpptdemux name=demux ! queue ! \
demux.src_0 ! rtph264depay ! decodebin ! videoconvert ! autovideosink \
demux.src_1 ! rtpgstdepay ! fakesink

在它中，我试图取消发送方采取的每一步，但有些东西是错的，我不知道它是什么。(后来我会用字幕做点什么，fakesink只是用来调试的)

如果有其他方法来做这件事，我将很高兴感谢任何帮助！

关于其他可能的解决方案，我知道RTP支持使用RTP有效负载(RFC 4103)和时间文本(RFC 4396)的文本会话，但是从我在gstreamer插件列表中发现的rtp中，还没有对它的支持。

我的最终目标是将opencv中的视频连同一些数据一起发送到一台计算机中，并在接收端同步读取。在命令行工作之后，我会将其修改为opencv，并不断重写字幕文件或直接传递变量。

提前谢谢你的帮助！

Answer 1

命令行语法不正确，因为queue不能在demux元素之后使用(尽管在命令行中它似乎是合理的)。

在您的示例中，queue元素可以在demux源pad之后使用。例如

gst-launch-1.0 udpsrc port=5000 caps = "application/x-rtp" ! rtpptdemux name=demux \
demux.src_0 ! queue ! rtph264depay ! decodebin ! videoconvert ! autovideosink \
demux.src_1 ! queue ! rtpgstdepay ! fakesink