ffmpeg解码出现问题,v1.2.1版本，v2.1版本有问题，v0.6.0版本没有问题

1)当Live555收到的数据中连续来两个I帧&＃xff0c;然后P帧&＃xff0c;ffmpeg解码有问题;

解决办法&＃xff1a;

      当presntationTime不同时候&＃xff0c;将以前存的buffer&＃xff08;已经是完整一帧&＃xff09;传给avcodec_decode_video2解码&＃xff1b; 根据时间戳组帧将sps pps I 帧 I帧的组成一帧&＃xff0c;交个ffmpeg解码&＃xff0c;搞定;

2) 通过live555将阿波罗的相机的h264码流录制成avi&＃xff0c;然后通过ffmpeg转成.h264,在用live555的testDemandRtspServer例子做服务器&＃xff0c;然后通过testRtspClient做客户端进行接收&＃xff0c;实时解码&＃xff0c;发现前面一个GOP的数据解码不出来&＃xff1b;前面一个GOP也是有sps pps I帧&＃xff0c;然后若干P帧的&＃xff0c;但是过了一个GOP后&＃xff0c;解码就正常了。诧异&＃xff01;

avcodec_decode_video2返回值&＃61;-1&＃xff1b;got_picture&＃61;0&＃xff1b;

错误如下&＃xff1a;

第一个Gop的第一个I帧 的sps,pps,I帧 的包是分别丢给解码器的&＃xff0c;ffmpeg提示错误是no frame&＃xff01;

后面接着的一个P帧&＃xff0c;就解码不出来&＃xff0c;提示错误Missing reference picture. default is 0

第2个P帧开始的P帧提示错误&＃xff1a;non-existing PPS 0 referenced.

调试记录&＃xff1a;

1)根据时间戳不同组包&＃xff0c;交给ffmpeg&＃xff0c;也是前面一个Gop解码不出来;

2)后面尝试第一次从SDP从获取sps和pps信息&＃xff0c;即第一帧数据是sps pps sps pps I帧&＃xff0c;然后是若干个P帧&＃xff0c;接着sps pps I帧&＃xff0c;这样也是第一个GOP不能解码;

3)将第一帧的I帧反复交给ffmpeg&＃xff0c;是可以解码的&＃xff1b;

解决方案&＃xff1a;

1&＃xff09;原因ffmpeg v1.2.1 版本&＃xff0c;换成老的ffmpeg V0.6.0解决;

为什么会有问题&＃xff0c;还需要分析ffmpeg v1.2.1版本的源码,是不是它需要缓冲多少帧&＃xff0c;造成前面的一个GOP的图像解码不出来。

继续定位发现&＃xff1a;v1.2.1 版本的第一个I帧解码 avcodec_decode_video2返回值为一帧数据的size&＃xff0c;但是

len &＃61; avcodec_decode_video2(DecodecContext, m_pFrame, &got_picture,&avpkt);

gop_picture的值&＃61;0&＃xff1b;

环境搭建&＃xff1a;

1&＃xff09;  live555 做服务器&＃xff1b;客户端使用live555接收数据流&＃xff1b;然后将接收到的数据帧插入到一个队列&＃xff1b;另外一个显示线程从队列中取一帧数据进行解码&＃xff0c;显示&＃xff1b;

2&＃xff09;  从2个队列做缓冲区&＃xff0c;首先是一个空的队列&＃xff0c;在上面分配内存&＃xff0c;形成一个链表&＃xff1b;收到一帧数据后&＃xff0c;从链表的头取一个节点&＃xff0c;将一帧数据拷贝到该个节点上&＃xff0c;然后插入到另外一个H264数据帧队列&＃xff0c;一定要记得到H264数据帧队列的尾部&＃xff1b;

3&＃xff09;  显示线程从H264队列的头取一个节点(一定要从头开始取节点)&＃xff1b;然后解码显示&＃xff1b;

出现过的问题&＃xff1a;

1&＃xff09;  插入H264队列时&＃xff0c;插入到队列的头&＃xff0c;取H264帧的时候也从头开始取&＃xff0c;这样造成后来的数据显取了&＃xff0c;解码出错&＃xff1b;

现象&＃xff1a;

Live555 sink 的afterGettingFrame函数中进行数据组帧&＃xff0c;入队列操作&＃xff0c;由于live555已经将rtp包头丢掉了,得到的一帧的数据&＃xff0c;有可能有4种包,sps pps I 帧&＃xff0c;p帧&＃xff1b;

组帧策略&＃xff1a;

按时间组帧&＃xff0c;首先将时间戳相同的数据包组成一帧&＃xff0c;然后插入到队列;

直接在数据到帧前加00 00 00 01 头后&＃xff0c;插入到队列&＃xff1b;

结论&＃xff1a;

两种方法&＃xff0c;ffmpeg都可以解码&＃xff1b;使用的是ffmpeg 1.2.1 的版本;但是前面有一个GOP不能解码&＃xff0c;原因不详&＃xff1b;换成v0.6.0版本的ffmpeg库进行测试&＃xff1b;解码正常&＃xff01;

有谁知道是什么原因的&＃xff0c;麻烦告诉我下&＃xff0c;谢谢&＃xff01;

今天又下载了一个最新的版本V2.1进行测试&＃xff0c;还是发现前面一个GOP的图像解码失败&＃xff0c;难道要用回老的版本v0.6.0

问题搞定&＃xff1a;

      是初始化解码器的分辨率和实际图像的分辨率不一致的问题&＃xff1b;本来解码器是讲H264数据解码成Yuv数据的&＃xff0c;但是我将yuv数据转换到RGB了&＃xff0c;给RGB分配了内存&＃xff0c;在解码器初始化函数里面&＃xff1a;

#ifdef OUTPUT_RGB

 m_pFrameRGB &＃61; avcodec_alloc_frame();
 if(m_pFrameRGB &＃61;&＃61; NULL)
 {
  return false;   
 }

 int numBytes&＃61;avpicture_get_size(PIX_FMT_RGB24, DecodecContext->width, DecodecContext->height);
 m_Rgbbuffer&＃61;new uint8_t[numBytes];   

 // Assign appropriate parts of buffer to image planes in pFrameRGB
 avpicture_fill((AVPicture *)m_pFrameRGB, m_Rgbbuffer, PIX_FMT_RGB24, DecodecContext->width, DecodecContext->height);

 img_convert_ctx &＃61; sws_getContext(DecodecContext->width, DecodecContext->height, DecodecContext->pix_fmt,
  DecodecContext->width, DecodecContext->height, PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL);

 if(img_convert_ctx &＃61;&＃61; NULL)
 {
  fprintf(stderr, "Cannot initialize the conversion context!\n");
  return false;
 }

 iDecodeWidth&＃61;DecodecContext->width;
 iDecodeHeight&＃61;DecodecContext->height;

#endif

实际上&＃xff0c;如果不转RGB是跟分辨率没有关系的&＃xff0c;转RGB后分配的内存和分辨率有关系&＃xff0c;所以在解码后&＃xff0c;判断分辨率和我设置的分辨率不一致时&＃xff0c;有调用了反解码器函数&＃xff0c;释放ffmpeg的资源&＃xff0c;然后在重新调用解码器初始化函数&＃xff0c;这样就出现了前面一个GOP不能解码的问题&＃xff1b;