韦东山视频监控方案学习笔记

1.总体方案

1.1所需要的软件

a. Ubuntu(可以用虚拟机安装Ubuntu)&＃xff1b;

b. Buildroot(Buildroot会自动下载其他软件: MJPG-streamer, ffmpeg, nginx)&＃xff1b;

c. 内网穿透软件: 花生壳5.0

1.2视频监控的作用

1.3方案1

如果只是想在客厅查看房间的情况&＃xff0c;不需要什么复杂的协议

作为程序员&＃xff0c;我们需要写2个程序&＃xff1a;

在连接摄像头的ARM板子上&＃xff0c;实现一个服务器程序&＃xff1a;它一边读取摄像头数据&＃xff0c;一边等待客户端连接并发送数据

在手机或电脑上&＃xff0c;编写客户端程序&＃xff0c;它会从ARM板上获得数据并显示出来

这2个程序之间&＃xff0c;并不需要实现复杂的协议

约定数据格式
传输一帧帧的数据

实际上&＃xff0c;我们可以使用现成的程序&＃xff1a;

mjpg-streamer&＃xff0c;它运行在ARM板上

在手机上使用浏览器直接观看视频

优点&＃xff1a;

程序简单&＃xff0c;所有源码一目了然&＃xff0c;便于学习

对ARM板的性能要求不高&＃xff0c;主频200MHz的ARM芯片也能实现

缺点&＃xff1a;

只能实现局域网内的视频监控

要实现互联网视频监控&＃xff0c;需要另外实现内网穿透

mjpg-streamer没有实现声音传输

mjpg-streamer项目已经不再维护&＃xff0c;仅仅建议用于学习

1.4方案二

使用流媒体

作为程序员&＃xff0c;我们需要写3个程序&＃xff1a;

在连接摄像头的ARM板子上&＃xff0c;实现一个推送程序&＃xff1a;它一边读取摄像头数据&＃xff0c;一边把数据推送给服务器

在服务器上&＃xff0c;实现“流媒体服务器”程序&＃xff1a;它接收ARM板发来的数据&＃xff0c;并把数据转换格式后发给手机等客户端

在手机等客户端上&＃xff0c;实现拉取程序&＃xff1a;它从服务器上拉取数据&＃xff0c;并显示出来

实际上&＃xff0c;我们可以把互联网功能去掉&＃xff1a;

把“推送程序”、“流媒体服务器”程序&＃xff0c;都在ARM板上运行&＃xff1b;手机等客户端只能在同一个局域网里观看视频

或者也使用内网穿透技术实现互联网视频监控

我们并不需要从头实现这些功能&＃xff1a;

推送程序&＃xff1a;ffmpeg

流媒体服务器程序&＃xff1a;Nginx

客户端程序&＃xff1a;VLC浏览器

我们需要了解一些协议&＃xff1a;

程序一多&＃xff0c;大家都遵守一些协议才好协同工作

有很多流媒体协议

STMP、HTTP-FLV、HLS

1.5几种流媒体协议

参考资料&＃xff1a;

HTTP-FLV直播初探

https://www.cnblogs.com/saysmy/p/7851911.html

理解RTMP、HttpFlv和HLS的正确姿势

https://www.jianshu.com/p/32417d8ee5b6

RTMP&＃xff1a;

Real Time Messaging Protocol

Adobe公司出品&＃xff0c;需要Flash player才能观看

延时小&＃xff0c;适合直播

HttpFlv&＃xff1a;

在HTTP上实现RTMP&＃xff0c;传输的数据跟RTMP一样都是flv文件

B站开源了flv.js&＃xff0c;实现了纯HTML5观看直播&＃xff0c;不再需要Flash player

延时小&＃xff0c;适合直播

HttpFlv只能做直播&＃xff0c;而RTMP可以实现更多操作

但是HttpFlv通过Http 80端口传输&＃xff0c;穿透性强

HLS&＃xff1a;

HTTP Live Streaming

Apple出品

延时大&＃xff0c;适合看视频&＃xff0c;不适合直播

1.6流媒体服务

流媒体服务&＃xff1a;两端加一服

注意&＃xff1a;

RTMP可以用在双端

HTTPFLV 、HLS 只能用在拉流端

2.MJPG-Stream方案实现

编译安装MJP-streamer&＃xff0c;使用Buildroot编译&＃xff08;原作者修改了buildroot,否则没有生成img文件&＃xff0c;只有根文件系统&＃xff09;
在100ASK_IMX6ULL上安装、运行
使用chrome浏览器&＃xff0c;观看摄像头拍摄的视频
讲解MJP-streamer框架

JPEG与MJPG区别
简称JPG
上过美术课的人都知道一个象素的颜色可以用RGB三原色来表示&＃xff0c;其实还可以用YUV格式来表示
使用RGB、YUV的格式编码的照片&＃xff0c;文件都很大&＃xff0c;比如常见的BMP文件就是用RGB编码
把一个BMP文件转换为JPEG文件&＃xff0c;可以发现图片质量没发生变化&＃xff0c;但是文件变小了很多
JPEG是根据人体视觉的特点采用了YCbCr格式&＃xff0c;大大压缩了照片的大小
MJPG
Motion JPEG&＃xff0c;简称MJPG
JPEG是静态图片的编码格式&＃xff0c;MJPG是动态的视频编码格式
可以简理解&＃xff1a;MJPG就是把多个JPEG图片连续显示出来
MJPG的优点
很多摄像头本身就支持JPEG、MJPG&＃xff0c;所以处理器不需要做太多处理
一般的低性能处理器就可以传输MJPG视频流
MJPG的缺点
MJPG只是多个JPEG图片的组合&＃xff0c;它不考虑前后两帧数据的变化&＃xff0c;总是传输一帧帧图像&＃xff1a;传输带宽要求高
H264等视频格式&＃xff0c;会考虑前后两帧数据的变化&＃xff0c;只传输变化的数据&＃xff1a;传输带宽要求低

运行mjpg-streamer
在开发板上安装好MJPG-streamer后&＃xff1a;
执行命令&＃xff1a;mjpg_streamer -i “/usr/lib/mjpg-streamer/input_uvc.so -d /dev/video1 -f 30 -q 90 -n” -o “/usr/lib/mjpg-streamer/output_http.so -w /usr/share/mjpg-streamer/www”
在PC或手机上&＃xff1a;
确保PC或手机&＃xff0c;跟开发板处于同一个局域网
假设开发板IP为&＃xff1a;192.168.1.6
在chrome浏览器中打开&＃xff1a;http://192.168.1.6:8080/stream.html
就可以看见视频了

其他用法
查看帮助&＃xff1a;
mjpg_streamer -o “/usr/lib/mjpg-streamer/output_file.so --help”
mjpg_streamer -i “/usr/lib/mjpg-streamer/input_file.so --help”
把摄像头数据存为JPG文件&＃xff1a;
mjpg_streamer -i “/usr/lib/mjpg-streamer/input_uvc.so -d /dev/video1 -f 30 -q 90 -n” -o “/usr/lib/mjpg-streamer/output_file.so -f /tmp”
把JPG文件输出到浏览器&＃xff1a;
mjpg_streamer -i “/usr/lib/mjpg-streamer/input_file.so -e -f /tmp” -o “/usr/lib/mjpg-streamer/output_http.so -w /usr/share/mjpg-streamer/www”

3.ffmpeg

3.1Ffmpeg是什么

一套开源软件&＃xff0c;可以记录、转换音视频&＃xff1a;可以从摄像头中记录视频&＃xff0c;从声卡中记录音频&＃xff0c;可以转换为各种格式&＃xff0c;保存起来
还可以把各种格式的音视频&＃xff0c;转换为流&＃xff1a;供在线观看
其他功能&＃xff1a;视频截图、加水印、裁剪等等
Mplayer&＃xff0c;ffplay&＃xff0c;射手播放器&＃xff0c;暴风影音&＃xff0c;KMPlayer&＃xff0c;QQ影音等视频频播放器的内核就是 FFmpeg&＃xff0c;格式工厂的内核也是FFmpeg

3.2Ffmpeg简易理解

误区&＃xff1a;我们以为mp4就代表了音频、视频的压缩格式&＃xff0c;其实不是
Mp4只是一种封装格式&＃xff0c;里面有音频数据、视频数据
音频数据有自己的压缩格式&＃xff0c;还不止一种
视频数据也有自己的压缩格式&＃xff0c;还不止一种
参考文章
视音频编解码技术零基础学习方法
https://blog.csdn.net/leixiaohua1020/article/details/18893769

从摄像头得到的原始数据太大&＃xff0c;不易传输&＃xff0c;需要压缩
压缩的方法有很多种&＃xff1a;格式不同&＃xff0c;编码器不同&＃xff0c;这里对应视频编码器
从声卡得到的原始数据太大&＃xff0c;不易传输&＃xff0c;需要压缩
压缩的方法有很多种&＃xff1a;格式不同&＃xff0c;编码器不同&＃xff0c;这里对应音频编码器
把这些压缩后&＃xff0c;即编码后的视频数据、音频数据合并在一起&＃xff1a;复用、MUX&＃xff0c;就得到了MP4等文件
参考文章
视音频编解码技术零基础学习方法
https://blog.csdn.net/leixiaohua1020/article/details/18893769

3.3FFmpeg的组成

参考文章
ffmpeg 基本用法
https://www.jianshu.com/p/3c8c4a892f3c

3.4FFmpeg处理音视频的过程

用Filter(过滤器)来处理
旋转、拉伸
添加LOGO、消除LOGO等等

3.5FFmpeg运行

在开发板上安装好ffmpeg后&＃xff1a;
执行命令&＃xff1a;ffmpeg -f v4l2 -framerate 10 -i /dev/video1 -q 10 my.mp4
它会把摄像头的数据录制为my.mp4
把my.mp4复制到PC机&＃xff0c;播放
更多用法&＃xff1a;
ffmpeg基础使用&＃xff1a;https://www.jianshu.com/p/ddafe46827b7
给新手的 20 多个 FFmpeg 命令示例&＃xff1a;https://zhuanlan.zhihu.com/p/67878761
建议在Windows下练习&＃xff1a;
下载static版本&＃xff1a;https://ffmpeg.zeranoe.com/builds/
在命令行中练习ffmpeg

4.nginx

4.1nginx是啥

Nginx是一套开源软件&＃xff0c;纯C语言编写&＃xff0c;效率高
HTTP和反向代理web服务器&＃xff0c;同时也是一个 IMAP、POP3、SMTP 代理服务器
稳定、高效&＃xff0c;支持高并发
即使强如阿里巴巴&＃xff0c;也是使用Nginx&＃xff1a; http://tengine.taobao.org/&＃xff0c;它就是在Nginx的基础上&＃xff0c;针对大访问量网站的需求&＃xff0c;添加了很多高级功能和特性。
我们只关注&＃xff1a;Nginx可以作为流体服务器&＃xff0c;支持RTMP、HTTPFLV、HLS等协议

4.2三种web服务器比较

4.3Nginx在流媒体方案中的位置

推流端
FFmpeg使用RTMP协议向Nginx推流
拉流端
VLC播放器使用RTMP或HTTPFLV协议从Nginx拉流
浏览器使用HTTPFLV协议从Nginx拉流(安装flv.js)

4.4 让Ngnix支持RTMP、HTTPFLV协议

Nginux需要第3方模块
nginx-rtmp-module&＃xff1a;实现了RTMP协议
nginx-http-flv-module&＃xff1a;在nginx-rtmp-module的基础上&＃xff0c;实现了HTTPFLV&＃xff0c;并覆盖nginx-rtmp-module的所有功能
所以&＃xff0c;我们将会在Nginx上使用nginx-http-flv-module
第3方模块源码&＃xff1a;
https://github.com/winshining/nginx-http-flv-module/
参考资料
https://github.com/winshining/nginx-http-flv-module/blob/master/README.CN.md

4.5移植nginx

有两种方法&＃xff1a;
下载源码&＃xff0c;手工编译
使用Buildroot&＃xff0c;配置选择Nginx&＃xff0c;直接编译生成映象文件
我们使用Buildroot&＃xff1a;
设置交叉编译工具链
下载第3方模块&＃xff1a;
在Buildroot目录下&＃xff0c;创建目录&＃xff1a;mkdir dl/nginx
使用git下列载&＃xff1a;cd dl/nginx && git clone https://github.com/winshining/nginx-http-flv-module.git
在Buildroot根目录
make menuconfig
把原来的lighttpd去掉&＃xff0c;否则板子也会自动启动它&＃xff0c;就会有两个HTTP服务了&＃xff1a;lighttpd, nginx
如图选择Nginx&＃xff0c;建议把所有功能都选上
并且设置额外的参数&＃xff0c;在“additional modules”中添加&＃xff1a; $(TOPDIR)/dl/nginx/nginx-http-flv-module
最后执行(先删除之前编译的nginx&＃xff0c;我发现有时设置的第3方模块不起作用&＃xff0c;删除后再make就可以了)&＃xff1a;rm -rf output/build/nginx-1.15.7 && make
这会在Buildroot的dl/nginx目录下自动下载源码&＃xff0c;并编译
结果保存在output/images目录下&＃xff0c;有emmc.img, sdcard.img&＃xff0c;可以直接烧写到板能的EMMC或SD卡上

4.6运行Ngnix

开发板上烧写好映像文件后&＃xff0c;开发板启动时会自动运行Ngnix
为了让它支持RTMP、HTTPFLV&＃xff0c;需要修改配置文件/etc/nginx/nginx.conf
注意&＃xff1a;rtmp 1935这个端口容易被防火墙拦住。所有用http flv协议好些
。

最后&＃xff0c;重启Nginx服务&＃xff1a;/etc/init.d/S50nginx restart

4.7测试Ngnix

在开发板上运行了Nginx后&＃xff0c;它就已经是一个WEB站点了。
可以在电脑浏览器里输入开发板的IP访问开发板&＃xff1a;

4.8测试流媒体

推流
在开发板上执行&＃xff1a;

ffmpeg -f v4l2 -framerate 10 -i /dev/video1 -q 10 -f flv rtmp://127.0.0.1/live/wei


拉流
在PC上安装VLC播放器&＃xff1a;https://www.videolan.org/
使用RTMP协议拉流&＃xff1a;VLC播放器中点击“媒体”->“打开网络串流”&＃xff0c;输入&＃xff1a;rtmp://192.168.1.6/live/wei &＃xff0c;就可以播放了
使用HTTPFLV协议拉流&＃xff1a;VLC播放器中点击“媒体”->“打开网络串流”&＃xff0c;输入&＃xff1a; http://192.168.1.6/test?app&＃61;live&stream&＃61;wei &＃xff0c;就可以播放了&＃xff08;这个test对应上面配置文件的test&＃xff0c;表示目录&＃xff09;
缺点&＃xff1a;
IMX6ULL性能太弱&＃xff0c;在VLC播放器里看到的视频很卡&＃xff0c;很滞后
我们可以上传一个mp4文件到开发板&＃xff0c;把它推到Nginx&＃xff1a; ffmpeg -re -i test.mp4 -vcodec copy -acodec copy -f flv rtmp://127.0.0.1/live/wei
然后再用VLC拉流看看&＃xff0c;会发现很顺畅
RTMP容易被防火墙挡住

4.9浏览器播放

浏览器无法直接播放&＃xff0c;只会下载到本地
无插件web直播解决方案&＃xff0c;ffmpeg&＃43;nginx-http-flv-module&＃43;flv.js&＃xff08;百度搜索flv.js&＃xff0c;找现成的别人编译好的&＃xff0c;进去那个网址&＃xff0c;输入我们的待播放的流地址就可播放&＃xff09;
https://blog.csdn.net/string_kai/article/details/100598268
HTTP-FLV直播初探
https://www.cnblogs.com/saysmy/p/7851911.html
修改/etc/nginx/nginx.conf&＃xff1a;
如下&＃xff1a;
location /test {
flv_live on;
chunked_transfer_encoding on;
add_header ‘Access-Control-Allow-Origin’ ‘*’;
add_header ‘Access-Control-Allow-Credentials’ ‘true’;
}

自己编写html文件&＃xff0c;播放流
复制链接里面的h5代码&＃xff0c;保存到本地&＃xff0c;把里面的url改成我们自己的地址&＃xff0c;然后把把双引号里面的东西改为下载flv.js的地址&＃xff0c;因为本地没有flv.js。然后点击这个h5文件就能播放
如何改为开发板播放&＃xff1f;

cd /usr/html >index.html #清空把我们的代码复制过去&＃xff0c;然后电脑浏览器输入开发板地址就可以播放了


5.视频音频

在上图中&＃xff0c;FFmpeg怎么去访问摄像头&＃xff1f;
Linux中摄像头的驱动称为v4l2&＃xff1a;Video for linux2&＃xff0c;就是linux下video驱动的第2版接口
在上图中&＃xff0c;FFmpeg怎么去访问声卡&＃xff1f;
Linux中声卡的驱动称为ALSA&＃xff1a; Advanced Linux Sound Architecture
声卡接口比摄像头接口复杂得多
我们一般使用alsa-lib或tinyalsa来访问声卡&＃xff0c;FFmpeg使用alsa-lib&＃xff0c;安卓使用tinyalsa

5.1V4L2

学习方法&＃xff1a;
阅读MJPG-streamer的源码可快速掌握&＃xff1a;plugins\input_uvc\v4l2uvc.c
硬件接口&＃xff1a;
USB
CMOS等
但是它们的驱动遵守同样的标准&＃xff1a;V4L2
所以APP可以使用同样的API访问不用硬件接口的摄像头
摄像头参数&＃xff1a;
分辨率
数据格式&＃xff1a;RGB,YUV,JPEG,MJPG,H264
帧率

API接口&＃xff0c;按顺序列出&＃xff1a;

3. 摄像头数据在内核中的组织方法
   

4. 声音的采集
   
   两个参数&＃xff1a;
   采样频率&＃xff1a;一秒钟内采样越多&＃xff0c;声音越逼真&＃xff1b;但是太多也没必要&＃xff0c;人耳分辨不出更高的采样率
   数据位宽&＃xff1a;位数越多&＃xff0c;采集的声音精度越高&＃xff0c;常用的是16bit
   
   1个参数&＃xff1a;
   声道&＃xff1a;要声音听起来有空间感&＃xff0c;至少要有左、右两声前。
   简单地说&＃xff0c;录制声音时&＃xff0c;模拟左、右耳朵的位置放置两个ADC采集声音
   播放时&＃xff0c;两个耳机的声音不一样

5. 声卡接口&＃xff1a;ALSA
   学习方法&＃xff1a;
   A Tutorial on Using the ALSA Audio API&＃xff1a;http://www.equalarea.com/paul/alsa-audio.html
   ALSA接口的复杂之处在于&＃xff0c;有很多的ioctl来设置很多的参数
   所以一般都是基于alsa-lib来编写APP
   ALSA APP的伪代码&＃xff1a;
   

6. 让FFmpeg录制声音
   编译alsa-utils&＃xff1a;
   FFmpeg借助alsa-utils操作声卡
   使用Buildroot&＃xff0c;配置选择alsa-utils&＃xff0c;直接编译生成映象文件
   rm -rf output/build/ffmpeg-3.4.5
   make

运行FFmpeg&＃xff1a;
只是录制声音&＃xff1a;
在开发板上执行&＃xff1a; ffmpeg -f alsa -ac 1 -i hw:0,0 my.wav
播放&＃xff1a;
aplay my.wav

7. 测试流媒体
推流
在开发板上执行&＃xff1a;
只推声音&＃xff1a;ffmpeg -f alsa -ac 1 -ar 11025 -i hw:0,0 -acodec aac -f flv rtmp://127.0.0.1/live/wei
视频声音同时推&＃xff1a;ffmpeg -f alsa -ac 1 -ar 11025 -i hw:0,0 -acodec aac -f v4l2 -framerate 10 -i /dev/video1 -q 10 -f flv rtmp://127.0.0.1/live/wei
拉流
在PC上安装VLC播放器&＃xff1a;https://www.videolan.org/
使用RTMP协议拉流&＃xff1a;VLC播放器中点击“媒体”->“打开网络串流”&＃xff0c;输入&＃xff1a;rtmp://192.168.1.6/live/wei &＃xff0c;就可以播放了
使用HTTPFLV协议拉流&＃xff1a;VLC播放器中点击“媒体”->“打开网络串流”&＃xff0c;输入&＃xff1a; http://192.168.1.6/test?app&＃61;live&stream&＃61;wei &＃xff0c;就可以播放了

6.内网穿透

在前面的课程&＃xff0c;Ffmpeg和Nginx都运行在开发板上
拉流端只能在同一个局域网内
不能通过外网访问Ngnix
想在任何地方&＃xff0c;都可以通过互联网访问Nginx&＃xff0c;怎么办&＃xff1f;
方法1&＃xff1a;把Ngnix放到公网服务器上
方法2&＃xff1a;使用内网穿透技术&＃xff0c;把开发板暴露到公网