omxplayer AVPacket

Question

嗨，我正在尝试解码视频，使用OpenMax组件和来自GitHub的hello_video示例。我只需编辑视频.c，并替换AVFormat -read帧包上的“主帧同时”，读取的不仅仅是*.h264文件。(我需要读mp4，mov，mkv.)因此，通过使用ffmpeg生成的test.h264文件和其他文件，所有文件都可以正常工作，在屏幕上我可以看到电影。

ffmpeg -i file.mp4 -vcodec copy -vbsf h264_mp4toannexb out.h264

但是如果我打开test.mp4文件，我就无法在屏幕上看到图片，登录控制台显示数据正确读取并解析到视频解码器的输入缓冲区。有什么能解释我为什么在第二次测试时看不到屏幕上的任何东西吗？

    do{
    printf("###before DO!\n");
status=av_read_frame(pFormatCtx,&packet);
//only for video
if(packet.stream_index==*video_stream_index){
printf("=>Read frame, status: %d, index: %d, stream index: %d, packet duration: %d, size: %d\n",pstatus,index++,packet.stream_index,packet.duration,packet.size);
int psize=packet.size;
int preaded=0;
double pts=packet.duration;
while(psize!=0){
     buf = ilclient_get_input_buffer(video_decode, 130, 1);
      buf->nFlags = 0;
      buf->nOffset = 0;
      uint64_t val = (uint64_t)(pts == DVD_NOPTS_VALUE) ? 0 : pts;
     if(first_frame==true){buf->nFlags = OMX_BUFFERFLAG_STARTTIME;first_frame=false;}else{buf->nFlags = OMX_BUFFERFLAG_TIME_UNKNOWN;}
buf->nTimeStamp = ToOMXTime(val);
buf->nFilledLen = (psize > buf->nAllocLen) ? buf->nAllocLen : psize;
memcpy(buf->pBuffer, packet.data+preaded,buf->nFilledLen);
psize-=buf->nFilledLen;
preaded+=buf->nFilledLen;
     if(psize == 0){buf->nFlags|=OMX_BUFFERFLAG_ENDOFFRAME;printf("#######################################OMX_BUFFERFLAG_ENDOFFRAME\n");}
printf("=>BUFF size: %d\n",buf->nFilledLen);
OMX_ERRORTYPE r;
if(pstatus==0){if(r=OMX_EmptyThisBuffer(ILC_GET_HANDLE(video_decode), buf) != OMX_ErrorNone){status = -6;printf("Failed, OMX_EmptyThisBuffer, error: 0x%08x , buf allocate: %d, buf lenght: %d \n", r,buf->nAllocLen,buf->nFilledLen);break;}}
}//while psize
av_free_packet(&packet);
   }//if index  
}//do
while(pstatus==0);

Answer 1

登录控制台显示数据正确读取并解析到视频解码器的输入缓冲区。

您这是什么意思？最有可能的是，从mp4中分离出来的数据包不是附件-b格式，这是OMX解码器所期望的，也是.h264文件(流)格式的自然形式。因此，在读取NALU之后，将头替换为00000001 (4个字节加上最后一个位)，您可能会很幸运。

其他需要考虑的事情:解码器可能也可能不会期望SPS/PPS具有第一个i帧，等等.

更新： LLVM测试套件的C源文件正是这样做的。您还可能感兴趣的参考AVC/H 264 实现进行相反的转换-从附件B到NALU。