1)当Live555收到的数据中连续来两个I帧&＃xff0c;然后P帧&＃xff0c;ffmpeg解码有问题;
解决办法&＃xff1a;
当presntationTime不同时候&＃xff0c;将以前存的buffer&＃xff08;已经是完整一帧&＃xff09;传给avcodec_decode_video2解码&＃xff1b; 根据时间戳组帧将sps pps I 帧 I帧的组成一帧&＃xff0c;交个ffmpeg解码&＃xff0c;搞定;
2) 通过live555将阿波罗的相机的h264码流录制成avi&＃xff0c;然后通过ffmpeg转成.h264,在用live555的testDemandRtspServer例子做服务器&＃xff0c;然后通过testRtspClient做客户端进行接收&＃xff0c;实时解码&＃xff0c;发现前面一个GOP的数据解码不出来&＃xff1b;前面一个GOP也是有sps pps I帧&＃xff0c;然后若干P帧的&＃xff0c;但是过了一个GOP后&＃xff0c;解码就正常了。诧异&＃xff01;
avcodec_decode_video2返回值&＃61;-1&＃xff1b;got_picture&＃61;0&＃xff1b;
错误如下&＃xff1a;
第一个Gop的第一个I帧 的sps,pps,I帧 的包是分别丢给解码器的&＃xff0c;ffmpeg提示错误是no frame&＃xff01;
后面接着的一个P帧&＃xff0c;就解码不出来&＃xff0c;提示错误Missing reference picture. default is 0
第2个P帧开始的P帧提示错误&＃xff1a;non-existing PPS 0 referenced.
调试记录&＃xff1a;
1)根据时间戳不同组包&＃xff0c;交给ffmpeg&＃xff0c;也是前面一个Gop解码不出来;
2)后面尝试第一次从SDP从获取sps和pps信息&＃xff0c;即第一帧数据是sps pps sps pps I帧&＃xff0c;然后是若干个P帧&＃xff0c;接着sps pps I帧&＃xff0c;这样也是第一个GOP不能解码;
3)将第一帧的I帧反复交给ffmpeg&＃xff0c;是可以解码的&＃xff1b;
解决方案&＃xff1a;
1&＃xff09;原因ffmpeg v1.2.1 版本&＃xff0c;换成老的ffmpeg V0.6.0解决;
为什么会有问题&＃xff0c;还需要分析ffmpeg v1.2.1版本的源码,是不是它需要缓冲多少帧&＃xff0c;造成前面的一个GOP的图像解码不出来。
继续定位发现&＃xff1a;v1.2.1 版本的第一个I帧解码 avcodec_decode_video2返回值为一帧数据的size&＃xff0c;但是
len &＃61; avcodec_decode_video2(DecodecContext, m_pFrame, &got_picture,&avpkt);
gop_picture的值&＃61;0&＃xff1b;
环境搭建&＃xff1a;
1&＃xff09; live555 做服务器&＃xff1b;客户端使用live555接收数据流&＃xff1b;然后将接收到的数据帧插入到一个队列&＃xff1b;另外一个显示线程从队列中取一帧数据进行解码&＃xff0c;显示&＃xff1b;
2&＃xff09; 从2个队列做缓冲区&＃xff0c;首先是一个空的队列&＃xff0c;在上面分配内存&＃xff0c;形成一个链表&＃xff1b;收到一帧数据后&＃xff0c;从链表的头取一个节点&＃xff0c;将一帧数据拷贝到该个节点上&＃xff0c;然后插入到另外一个H264数据帧队列&＃xff0c;一定要记得到H264数据帧队列的尾部&＃xff1b;
3&＃xff09; 显示线程从H264队列的头取一个节点(一定要从头开始取节点)&＃xff1b;然后解码显示&＃xff1b;
出现过的问题&＃xff1a;
1&＃xff09; 插入H264队列时&＃xff0c;插入到队列的头&＃xff0c;取H264帧的时候也从头开始取&＃xff0c;这样造成后来的数据显取了&＃xff0c;解码出错&＃xff1b;
现象&＃xff1a;
Live555 sink 的afterGettingFrame函数中进行数据组帧&＃xff0c;入队列操作&＃xff0c;由于live555已经将rtp包头丢掉了,得到的一帧的数据&＃xff0c;有可能有4种包,sps pps I 帧&＃xff0c;p帧&＃xff1b;
组帧策略&＃xff1a;
按时间组帧&＃xff0c;首先将时间戳相同的数据包组成一帧&＃xff0c;然后插入到队列;
直接在数据到帧前加00 00 00 01 头后&＃xff0c;插入到队列&＃xff1b;
结论&＃xff1a;
两种方法&＃xff0c;ffmpeg都可以解码&＃xff1b;使用的是ffmpeg 1.2.1 的版本;但是前面有一个GOP不能解码&＃xff0c;原因不详&＃xff1b;换成v0.6.0版本的ffmpeg库进行测试&＃xff1b;解码正常&＃xff01;
有谁知道是什么原因的&＃xff0c;麻烦告诉我下&＃xff0c;谢谢&＃xff01;
今天又下载了一个最新的版本V2.1进行测试&＃xff0c;还是发现前面一个GOP的图像解码失败&＃xff0c;难道要用回老的版本v0.6.0
问题搞定&＃xff1a;
是初始化解码器的分辨率和实际图像的分辨率不一致的问题&＃xff1b;本来解码器是讲H264数据解码成Yuv数据的&＃xff0c;但是我将yuv数据转换到RGB了&＃xff0c;给RGB分配了内存&＃xff0c;在解码器初始化函数里面&＃xff1a;
#ifdef OUTPUT_RGB
m_pFrameRGB &＃61; avcodec_alloc_frame();
if(m_pFrameRGB &＃61;&＃61; NULL)
{
return false;
}
int numBytes&＃61;avpicture_get_size(PIX_FMT_RGB24, DecodecContext->width, DecodecContext->height);
m_Rgbbuffer&＃61;new uint8_t[numBytes];
// Assign appropriate parts of buffer to image planes in pFrameRGB
avpicture_fill((AVPicture *)m_pFrameRGB, m_Rgbbuffer, PIX_FMT_RGB24, DecodecContext->width, DecodecContext->height);
img_convert_ctx &＃61; sws_getContext(DecodecContext->width, DecodecContext->height, DecodecContext->pix_fmt,
DecodecContext->width, DecodecContext->height, PIX_FMT_BGR24, SWS_BICUBIC, NULL, NULL, NULL);
if(img_convert_ctx &＃61;&＃61; NULL)
{
fprintf(stderr, "Cannot initialize the conversion context!\n");
return false;
}
iDecodeWidth&＃61;DecodecContext->width;
iDecodeHeight&＃61;DecodecContext->height;
#endif
实际上&＃xff0c;如果不转RGB是跟分辨率没有关系的&＃xff0c;转RGB后分配的内存和分辨率有关系&＃xff0c;所以在解码后&＃xff0c;判断分辨率和我设置的分辨率不一致时&＃xff0c;有调用了反解码器函数&＃xff0c;释放ffmpeg的资源&＃xff0c;然后在重新调用解码器初始化函数&＃xff0c;这样就出现了前面一个GOP不能解码的问题&＃xff1b;
京公网安备 11010802041100号