如何定量地测量源和显示之间的gstreamer H264延迟？

Question

我有一个项目，我们使用gstreamer，x264等，通过本地网络将视频流传送到多个接收器(与监视器相连的专用计算机)。我们在视频源(摄像机)系统和显示器上都使用gstreamer。

我们使用RTP、有效载荷96和libx264来编码视频流(没有音频)。

但是现在我需要量化(尽可能接近)帧获取和显示之间的延迟。

有人有使用现有软件的建议吗？

理想情况下，我希望能够运行几个小时的测试软件来生成足够的统计数据来量化系统。这意味着我不能进行一次性测试，比如将源相机指向显示高分辨率的接收显示器，并手动计算差异.

我意识到，使用纯软件解决方案，我将无法量化视频采集延迟(即CCD到帧缓冲区)。

我可以安排源和显示系统上的系统时钟以高精度同步(使用PTP)，因此我将能够信任系统时钟(否则，我将使用一些软件来跟踪系统时钟之间的差异，并将其从测试结果中删除)。

如果有用的话，项目应用程序是用C++编写的，所以我可以使用C事件回调(如果它们可用的话)，考虑将系统时间嵌入自定义报头中(例如，frame xyz，在TTT时编码--并使用接收方上的相同信息来计算差异)。

Answer 1

延迟时钟项目已经引起了我的注意，我认为它提供了一个更好的解决方案！

它将当前时间的二进制表示嵌入到图像缓冲区中，并在解码时提取该二进制图像。

显然，系统时钟必须同步！

Answer 2

我有一个解决方案:我编写了一个gstreamer过滤器插件(基于插件模板)，它可以在捕获帧(并在视频缓冲区上标记)之前，在H.264编码器和网络传输上传递它之前，节省系统时间。

在接收端，我定位标记(为我提供了20个索引中的一个)，并再次记录系统时间。

我希望这将是一个相对简单的练习，然后相关的指数和比较系统的时间。只要两个系统的时钟合理地保持同步(或有已知的差异)，我就应该能够计算出差异(即延迟)。

在发送方和接收方上设置不同的filter->source，以确定滤波器的定时行为。

/* chain function
 * this function does the actual processing
 */
static GstFlowReturn
gst_my_filter_chain (GstPad * pad, GstBuffer * buf)
{
  GstMyFilter *filter;
  struct timeval nowTimeval;
  guint8* data;
  int i,j,offset;

  filter = GST_MYFILTER (GST_OBJECT_PARENT (pad));

  if (filter->startTime == 0){
      filter->startTime = GST_BUFFER_TIMESTAMP(buf);
      gettimeofday(&filter->startTimeval, NULL);
      filter->startTimeUL = (filter->startTimeval.tv_sec*1e6 + filter->startTimeval.tv_usec)/1e3; // in milliseconds?
      filter->index = 0;

      GstCaps* caps;
      gint width, height;
      const GstStructure *str;

      caps = GST_BUFFER_CAPS(buf);
      str = gst_caps_get_structure (caps, 0);
      if (!gst_structure_get_int (str, "width", &width) ||
          !gst_structure_get_int (str, "height", &height)) {
        g_print ("No width/height available\n");
      } else {
        g_print ("The video size of this set of capabilities is %dx%d\n",
               width, height);  
        filter->width=width;
        filter->height=height;
      }
  }

  gettimeofday(&nowTimeval, NULL);
  unsigned long timeNow = (nowTimeval.tv_sec*1e6 + nowTimeval.tv_usec)/1e3; // in milliseconds?

  if (filter->silent == FALSE){
    fprintf(filter->ofp, "%20lu,",
            timeNow);
  }

    data = GST_BUFFER_DATA(buf);
    if (filter->source){
      offset = filter->index % 20;
      for (i = 0; i < 10; i++){
          for (j = 0; j < 10; j++){
              data[(i+20)*filter->width+(j+offset*10)*1]=23;
          }
      }
        fprintf(filter->ofp, " %u", offset);
    } else {
        unsigned long avg;
        unsigned int min=(unsigned int)(-1UL);
        unsigned int minpos=0;
        int k=0;

        for (k=0; k < 20; k++){
            avg=0;
            i=5; // in the middle of the box row
            for (j = 0; j < 10; j++){
              avg += data[(i+20)*filter->width+(j+k*10)*1];
            }
            if (avg < min){
                min = avg;
                minpos=k;
            }
        }
        fprintf(filter->ofp, " %u", minpos);
    }

    fprintf(filter->ofp, "\n");

  filter->index++;

  /* just push out the incoming buffer without touching it */
  return gst_pad_push (filter->srcpad, buf);
}

用法如下:发送方/服务器：

GST_DEBUG="*:2"  gst-launch-0.10 -v --gst-plugin-path=../../src/.libs  videotestsrc num-buffers=100 ! myfilter src=1 ! x264enc tune=zerolatency,speed-preset=fast ! rtph264pay ! udpsink port=3000 host=127.0.0.1

接受者/客户：

GST_DEBUG="*:2"  gst-launch-0.10 -v --gst-plugin-path=../../src/.libs udpsrc port=3000 ! "application/x-rtp, media=(string)video, encoding-name=(string)H264, payload=(int)96" ! gstrtpjitterbuffer do-lost=true !  rtph264depay  ! ffdec_h264 ! myfilter src=0 ! ffmpegcolorspace ! ximagesink

显然，在测试实现中，我不会使用localhost (127.0.0.1)！

我使用--gst-plugin-path，因为我没有安装我的定时过滤器。

该项目需要尽可能小的延迟--最好是100 as或更少。现在，使用一些数字，我可以开始微调所需的参数，以尽量减少延迟。

Answer 3

我以前通过编写一个简单的应用程序来实现这一点，该应用程序呈现序列号(例如mod 60)，并将它们显示在屏幕上。然后，您可以将相机指向监视器，并让一台客户端机器将该流呈现给第二个监视器。与你的电话拍照，看看这两个数字，以计算你的延迟。