UDP接收器需要在udp发送器之前启动

Question

我正在尝试从运行Raspian Buster摄像头的raspberry pi 0w向运行Ubuntu 18.04的机器发送视频。我使用ffmpeg在raspi端使用硬件编码成h264，然后用gst-launch-1.0通过UDP发送数据。问题是，如果我启动raspi流，然后启动接收器，接收器永远不会连接。如果我启动接收器，然后启动raspi流，那么它们会完美地连接在一起。

Raspi编码并发送命令：

ffmpeg -f video4linux2 -framerate 30 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -f avi pipe:1 | gst-launch-1.0 --gst-debug=3 fdsrc ! udpsink host=192.168.1.142 port=8090

接收、解码和显示命令：

gst-launch-1.0 udpsrc port=8090 ! queue ! h264parse ! avdec_h264 ! xvimagesink sync=false

我已经查看了udpsink和udpsrc属性，并尝试使用buffer-size、blocksize和sync，但没有成功。我还尝试在python中使用ffmpeg，以查看问题是否出现在接收器端，也存在完全相同的问题。

import cv2

cap = cv2.VideoCapture('udp://127.0.0.1:8090',cv2.CAP_FFMPEG)
if not cap.isOpened():
    print('VideoCapture not opened')
    exit(-1)

while True:
    ret, frame = cap.read()

    if not ret:
        print('frame empty')
        break

    cv2.imshow('image', frame)

    if cv2.waitKey(1)&0XFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

最后，我可能只是写了一个小协议，如果没有数据包通过，它会切换发送器，但我希望UDP能更好地处理连接。

这个问题看起来很相似：UDP: Client started before Server，但没有解决我的问题，因为我没有使用gstreamer/ffmpeg的任何阻塞能力。

Answer 1

如果您想要随机访问，则需要定期发送SPS/PPS数据。如果不这样做，这些数据将只在一开始就被发送。此信息对于解码H.264流至关重要。考虑在udpsink之前添加h264parse并配置它的config-interval属性。

Answer 2

你在正确的轨道上。下面是您的ffmpeg命令(稍作修改)

ffmpeg -f video4linux2 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -an -f mpegts udp://192.168.1.142:8090?pkt_size=1316

这就是将视频打包到MPEG transport stream中。请注意，我在末尾添加了pkt_size=1316，以强制ffmpeg通过发送相同大小的数据包来进行UDP传输。这将帮助接收器赶上，而不是溢出。

要接受、解复用和解析MPEG TS over UDP，您可以使用GStreamer命令

gst-launch-1.0 udpsrc port=8090 \
! queue max-size-buffers=10000000 max-size-time=5000000000 max-size-bytes=20000000 \
! tsdemux name=demux \
demux.video_0_0100 ! queue ! h264parse ! avdec_h264 ! autovideosink

其中demux.video_0_0100通过其PID (作为基本流的视频的ID)从MPEG中抓取多路分解的视频。在接收方，您可以使用以下命令找到您的通信流的所有详细信息，包括PID

gst-discoverer-1.0 -v -t 20 udp://0.0.0.0:8090