视频直播分析

一、直播现状简介

1.技术实现层面

技术相对都比较成熟&＃xff0c;设备也都支持硬编码。iOS还提供现成的Video ToolBox框架&＃xff0c;可以对摄像头和流媒体数据结构进行处理&＃xff0c;但Video ToolBox框架只兼容8.0以上版本&＃xff0c;8.0以下就需要用x264的库软编了。

github上有现成的开源实现&＃xff0c;推流、美颜、水印、弹幕、点赞动画、滤镜、播放都有。技术其实不是很难&＃xff0c;而且现在很多云厂商都提供SDK&＃xff0c;七牛云、金山云、乐视云、腾讯云、百度云、斗鱼直播伴侣推流端&＃xff0c;功能几乎都是一样的&＃xff0c;没啥亮点&＃xff0c;不同的是整个直播平台服务差异和接入的简易性。后端现在 RTMP/HTTP-FLV 清一色&＃xff0c;App挂个源站直接接入云厂商或CDN就OK。

2.直播优化层面

其实最难的难点是提高首播时间、服务质量即Qos&＃xff08;Quality of Service&＃xff0c;服务质量&＃xff09;&＃xff0c;如何在丢包率20%的情况下还能保障稳定、流畅的直播体验&＃xff0c;需要考虑以下方案&＃xff1a;

1&＃xff09;为加快首播时间&＃xff0c;收流服务器主动推送 GOP :&＃xff08;Group of Pictures:策略影响编码质量)所谓GOP&＃xff0c;意思是画面组&＃xff0c;一个GOP就是一组连续的画面至边缘节点&＃xff0c;边缘节点缓存 GOP&＃xff0c;播放端则可以快速加载&＃xff0c;减少回源延迟

2&＃xff09;GOP丢帧&＃xff0c;为解决延时&＃xff0c;为什么会有延时&＃xff0c;网络抖动、网络拥塞导致的数据发送不出去&＃xff0c;丢完之后所有的时间戳都要修改&＃xff0c;切记&＃xff0c;要不客户端就会卡一个 GOP的时间&＃xff0c;是由于 PTS&＃xff08;Presentation Time Stamp&＃xff0c;PTS主要用于度量解码后的视频帧什么时候被显示出来&＃xff09; 和 DTS 的原因&＃xff0c;或者播放器修正 DTS 和 PTS 也行&＃xff08;推流端丢GOD更复杂&＃xff0c;丢 p 帧之前的 i 帧会花屏&＃xff09;

3&＃xff09;纯音频丢帧&＃xff0c;要解决音视频不同步的问题&＃xff0c;要让视频的 delta增量到你丢掉音频的delta之后&＃xff0c;再发音频&＃xff0c;要不就会音视频不同步

4&＃xff09;源站主备切换和断线重连

5&＃xff09;根据TCP拥塞窗口做智能调度&＃xff0c;当拥塞窗口过大说明节点服务质量不佳&＃xff0c;需要切换节点和故障排查

6&＃xff09;增加上行、下行带宽探测接口&＃xff0c;当带宽不满足时降低视频质量&＃xff0c;即降低码率

7&＃xff09;定时获取最优的推流、拉流链路IP&＃xff0c;尽可能保证提供最好的服务

8)监控必须要&＃xff0c;监控各个节点的Qos状态&＃xff0c;来做整个平台的资源配置优化和调度

9&＃xff09;如果产品从推流端、CDN、播放器都是自家的&＃xff0c;保障 Qos 优势非常大

10&＃xff09;当直播量非常大时&＃xff0c;要加入集群管理和调度&＃xff0c;保障 Qos

11&＃xff09;播放端通过增加延时来减少网络抖动&＃xff0c;通过快播来减少延时。&＃xff08;出自知乎宋少东&＃xff09;。

3.运营成本和客户体验

根据网上的数据&＃xff0c;斗鱼 TV 为 3 亿人民币&＃xff0c;战旗 TV 为 1.5 亿人民币&＃xff0c;龙珠为 1.2 亿人民币&＃xff0c;虎牙为 3000 万 &＃43; 人民币。

运营和推广&＃xff1a;这个就比较烧钱了&＃xff0c;一些做移动直播、游戏直播、秀场直播的A轮至少得上千万。

用户体验&＃xff1a;流畅、不卡顿、不花屏、断线重连、丢包策略、首画加载速度、丰富的礼物系统&＃xff0c;为了提高用户体验&＃xff0c;可以在后台加载其他页面数据&＃xff0c;但要在用户体验和内存优化方面找到平衡点。

二、流媒体传输

1.TCP&＃xff1a;TCP为点对点的协议&＃xff0c;虽然能保证了数据传输的可靠性&＃xff0c;但是对服务器资源耗费较大&＃xff0c;在数据流大的场合难以保证数据流传输的实时性。

2.UDP&＃xff1a;UDP为不可靠传输协议&＃xff0c;不需要维护连接状态&＃xff0c;也不认为每个数据包都必须到达接受端&＃xff0c;因此网络负荷比TCP小&＃xff0c;传输速度也要比TCP快&＃xff1b;但在网络越拥挤时&＃xff0c;越有更多的数据包丢失。

3.RTMP&＃xff1a;RTMP一个专门为高效传输视频&＃xff0c;音频和数据而设计的协议。它通过建立一个二进制TCP连接或者连接HTTP隧道实现实时的视频和声音传输。

4.FFmpeg&＃xff1a;FFmpeg是一套可以用来记录、转换数字音频、视频&＃xff0c;并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案

三、项目搭建&＃xff1a;采集端

1.目前比较知名的有VideoCore

目前国内很多知名的推流框架都是对VideoCore的二次开发。这个框架主要使用C&＃43;&＃43;写的&＃xff0c;支持RTMP推流&＃xff0c;但对于iOS开发者来说有点晦涩难懂&＃xff08;精通C&＃43;&＃43;的除外&＃xff09;。想开源和免费的可以选择现在的几个知名项目VideoCore &＃43; GPUImage&＃43;基于GPU的美颜滤镜 ,播放用IJKPlayer自己修改。

2.国内比较火的LiveVideoCoreSDK

框架提供IOS苹果手机的RTMP推流填写RTMP服务地址&＃xff0c;直接就可以进行推流&＃xff0c;SDK下载后简单的工程配置后能直接运行&＃xff0c;实现了美颜直播和滤镜功能&＃xff0c;基于OpenGL&＃xff0c;前后摄像头随时切换&＃xff0c;提供RTMP连接状态的回调。

这个框架是国内比较早的一款推流框架有不少在使用这个SDK&＃xff0c;功能非常齐全&＃xff0c;作者也比较牛&＃xff0c;用来学习推流采集相关内容非常好&＃xff0c;但是集成到工程中有些困难&＃xff08;对于我来说&＃xff09;。总的来说这是一款非常厉害的推流SDK&＃xff0c;几乎全部使用C&＃43;&＃43;写的&＃xff0c;编译效率非常好&＃xff0c;如果有实力的话推荐使用这个框架来做自己项目的推流端。

3.可读性比较好的推流LFLiveKit

框架支持RTMP&＃xff08;Real Time Messaging Protocol &＃xff09;&＃xff1a;实时消息传输协议&＃xff0c;Adobe公司的。

HlS (HTTP Live Streaming) &＃xff1a;苹果自家的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件&＃xff0c;TS媒体分片文件和key加密串文件。

推荐这个框架第一是因为它主要使用OC写的&＃xff0c;剩下的用C语言写的&＃xff0c;框架文件十分清晰&＃xff0c;这对不精通C&＃43;&＃43;的初学者提供了很大的便利&＃xff0c;并且拓展性非常强&＃xff0c;支持动态切换码率功能&＃xff0c;支持美颜功能。

4.美颜功能

美颜的话一般都是使用的GPUImage基于OpenGl开发&＃xff0c;纯OC语言&＃xff0c;这个框架十分强大&＃xff0c;可以做出各种不同滤镜&＃xff0c;可拓展性高。如果对美颜没有具体思路可以直接用BeautifyFace&＃xff0c;可以加入到项目中&＃xff0c;很方便的实现美颜效果。

四、项目具体搭建

1.如何实现美颜&＃xff1f;

美颜功能使用的是BeautifyFace&＃xff0c;它可以很快速的实现美颜功能&＃xff0c;效果不错&＃xff0c;它的底层还是基于的GPUImage&＃xff0c;对GPUImage十分喜爱的Developer&＃xff0c;可以参照BeautifyFace&＃xff0c;写出一个属于自己的美颜功能&＃xff0c;并且添加各种滤镜。

2.悬浮TabBar的实现

这个TabBar看着像是用自定义TabBar做的&＃xff0c;但事实上它还是用的系统的TabBar,给系统的tabBar.backgroundImage设置一张设计好的背景图片。

添加后会发现顶部有一条阴影线&＃xff0c;并且TabBar的高度也不够。阴影线与上图绿色线条之间变成了透明颜色&＃xff0c;实现下面方法隐藏阴影线&＃xff0c;并且调高TabBar的高度。

//隐藏阴影线
[[UITabBar appearance] setShadowImage:[UIImage new]];
- (void)setupTabBarBackgroundImage {UIImage *image &＃61; [UIImage imageNamed:&＃64;"tab_bg"];CGFloat top &＃61; 40; // 顶端盖高度CGFloat bottom &＃61; 40 ; // 底端盖高度CGFloat left &＃61; 100; // 左端盖宽度CGFloat right &＃61; 100; // 右端盖宽度UIEdgeInsets insets &＃61; UIEdgeInsetsMake(top, left, bottom, right);// 指定为拉伸模式&＃xff0c;伸缩后重新赋值UIImage *TabBgImage &＃61; [image resizableImageWithCapInsets:insets resizingMode:UIImageResizingModeStretch];self.tabBar.backgroundImage &＃61; TabBgImage;[[UITabBar appearance] setShadowImage:[UIImage new]];[[UITabBar appearance] setBackgroundImage:[[UIImage alloc]init]];
}
//自定义TabBar高度
- (void)viewWillLayoutSubviews {CGRect tabFrame &＃61; self.tabBar.frame;tabFrame.size.height &＃61; 60;tabFrame.origin.y &＃61; self.view.frame.size.height - 60;self.tabBar.frame &＃61; tabFrame;
}

3.播放端的实现

播放端用的针对RTMP优化过的ijkplayer&＃xff08;&＃xff09;&＃xff0c;ijkplayer是基于FFmpeg的跨平台播放器&＃xff0c;这个开源项目已经被多个 App 使用&＃xff0c;其中映客、美拍和斗鱼使用了 ijkplayer&＃xff08;5700&＃43;?&＃xff09; 。在本文的末未提供了&＃xff0c;已经打包好的ijkplayer&＃xff0c;直接拖入项目就可以使用。省去了编译的过程&＃xff08;编译十分麻烦&＃xff0c;并且容易出错&＃xff09;。播放端调用ijkplayer参考VoideSun的简仿映客所写&＃xff0c;如有关于ijkplayer的问题&＃xff0c;可以请教这位大牛&＃xff08;VoiderSun&＃xff09;。

- (void)goPlaying {//获取urlself.url &＃61; [NSURL URLWithString:_liveUrl];_player &＃61; [[IJKFFMoviePlayerController alloc] initWithContentURL:self.url withOptions:nil];UIView *playerview &＃61; [self.player view];UIView *displayView &＃61; [[UIView alloc] initWithFrame:self.view.bounds];self.PlayerView &＃61; displayView;[self.view addSubview:self.PlayerView];// 自动调整自己的宽度和高度playerview.frame &＃61; self.PlayerView.bounds;playerview.autoresizingMask &＃61; UIViewAutoresizingFlexibleWidth | UIViewAutoresizingFlexibleHeight;[self.PlayerView insertSubview:playerview atIndex:1];[_player setScalingMode:IJKMPMovieScalingModeAspectFill];
}

4.推送端的实现

使用的是LFLiveKit&＃xff0c;推流端可以选择很多GitHub上的开源项目替代LFLiveKit&＃xff0c;比如上面所提到的VideoCore,和LiveVideoCoreSDK。商用的话可以选择各大厂商的SDK&＃xff0c;网易直播云、七牛、腾讯、百度、新浪、其中金山直播云本人用过。使用直播云的好处就是能快速上线App&＃xff0c;功能十分齐全&＃xff0c;可以播放器和推流端&＃xff0c;服务器一套下来&＃xff0c;有专业客服人员帮助集成到工程中&＃xff0c;缺点就是流量费太贵了&＃xff0c;具体可以了解下各大厂商的收费标准。

- (UIButton*)startLiveButton{if(!_startLiveButton){_startLiveButton &＃61; [UIButton new];//位置_startLiveButton.frame &＃61; CGRectMake((XJScreenW - 200) * 0.5, XJScreenH - 100, 200, 40);_startLiveButton.layer.cornerRadius &＃61; _startLiveButton.frame.size.height * 0.5;[_startLiveButton setTitleColor:[UIColor blackColor] forState:UIControlStateNormal];[_startLiveButton.titleLabel setFont:[UIFont systemFontOfSize:16]];[_startLiveButton setTitle:&＃64;"开始直播" forState:UIControlStateNormal];[_startLiveButton setBackgroundColor:[UIColor grayColor]];_startLiveButton.exclusiveTouch &＃61; YES;__weak typeof(self) _self &＃61; self;[_startLiveButton addBlockForControlEvents:UIControlEventTouchUpInside block:^(id sender) {_self.startLiveButton.selected &＃61; !_self.startLiveButton.selected;if(_self.startLiveButton.selected){[_self.startLiveButton setTitle:&＃64;"结束直播" forState:UIControlStateNormal];LFLiveStreamInfo *stream &＃61; [LFLiveStreamInfo new];stream.url &＃61; &＃64;"rtmp://daniulive.com:1935/live/stream238";[_self.session startLive:stream];}else{[_self.startLiveButton setTitle:&＃64;"开始直播" forState:UIControlStateNormal];[_self.session stopLive];}}];}return _startLiveButton;
}

stream.url是服务器的地址&＃xff0c;推流完成后使用VLC播放。别人家的服务器&＃xff0c;不建议推流时间过长&＃xff08;<1分钟&＃xff09;&＃xff0c;建议搭建自己的RTMP服务器&＃xff0c;详情请见我的另一篇简书文章。

项目地址520Linkee&＃xff1a;GrayJIAXU/520Linkee

给没架设服务器的朋友来一套福利&＃xff1a;备用服务器地址&＃xff08;亲测可用&＃xff09;&＃xff1a;

• rtmp://live.hkstv.hk.lxdns.com:1935/live/stream123

• rtmp://live.hkstv.hk.lxdns.com:1935/live/hks(将hks名称改成其他的&＃xff0c;比如aaa&＃xff09;

• rtmp://202.69.69.180:443/live/aaa

• (rtmp://202.69.69.180:443/webcast/bshdlive-pc)

• rtmp://v1.one-tv.com:1935/live/aaa(rtmp://v1.one-tv.com:1935/live/mpegts.stream)

• rtmp://203.207.99.19:1935/live/aaa(rtmp://203.207.99.19:1935/live/CCTV1)

• rtmp://202.117.80.19:1935/live/aaa

• (rtmp://202.117.80.19:1935/live/live4)

• rtmp://ams.studytv.cn/live/aaa

• (rtmp://ams.studytv.cn/livepkgr/264)

• rtmp://60.174.36.89:1935/live/aaa

• (rtmp://60.174.36.89:1935/live/vod3)