音视频学习计划路线

笔者2020年立的其中一个flag就是深入学习音视频开发&＃xff0c;本着边学边记录的理念&＃xff0c;就写了这篇文章作为音视频记录专栏的开篇。

最近打算深入学习音视频开发的相关知识&＃xff0c;如果你有以下困惑&＃xff1a;

1. 进军移动开发几年&＃xff0c;却总是在业务与界面之间反复&＃xff0c;介乎没有拿的出手的特长。
2. 听说音视频开发薪资很高&＃xff0c;自己蠢蠢欲动&＃xff0c;却不知道怎么入门&＃xff0c;怎么进阶。
3. 整天调UI&＃xff0c;经常因为一个像素的问题与设计狮撕逼个你死我活&＃xff0c;又不想脱离移动开发这个饭碗。

如果你有以上困惑&＃xff0c;或许你可以尝试以下音视频方向的探索&＃xff0c;我们一起进步。

知乎上有大牛用两张图简单概括了音视频的主要学习方向&＃xff1a;

在这里我再补充一个webrtc方向&＃xff0c;目前几乎所有的音视频通话都是采用的webrtc&＃xff0c;相信5G时代的到来webrtc将迎来更大的爆发。

这里只是简单列举几个例子作为抛砖引玉&＃xff1a;

• 采集&＃xff1a;是音频和视频同时采集呢还是分开采集呢&＃xff1f;采集后又怎么打包呢&＃xff1f;
• 渲染&＃xff1a;音视频同步&＃xff0c;如何高效渲染又不会导致CPU和内存暴增等。
• 处理&＃xff1a;比如音混音、降噪、美颜效果、抖音灵魂出窍效果等等。
• 传输&＃xff1a;比如说弱网怎么保证传输、怎么实现秒开、怎么做到低延时等等。

• 音视频的基本知识&＃xff0c;起码要懂&＃xff0c;不然人家PCM&＃xff0c;H264你都不知道人家在说什么。
• C/C&＃43;&＃43;的基本知识&＃xff0c;比如指针这个是必须要会的&＃xff0c;不然你可能连别人的代码都看不懂&＃xff0c;但这个不必精通&＃xff0c;可以与音视频学习同步进行。
• JNI/NDK的基本知识&＃xff0c;比如崩溃定位&＃xff0c;Cmake语法等。
• OpenGL这个主要是在视频渲染或对视频进行逐帧加工处理会用到&＃xff0c;初中级暂时可以忽略。

先就这么多吧&＃xff0c;我怕再写多直接把你们劝退了&＃xff0c;其实还有shell脚本之类的我都不好意思说了。

这里主要以Android开发为例。

• 初级

主要是Java层面的一些API调用。

比如使用AudioRecord进行录音得到PCM&＃xff0c;使用AudioTrack播放PCM音频、使用Camera2采集摄像头数据。

使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件。

使用MediaCodec进行硬件编解码等。

• 中级进阶

中级主要是一些音视频开源库的编译和使用,这里就需要NDK的相关知识了&＃xff1a;

比如FFmpeg交叉编译&＃xff0c;使用FFmpeg进行软件编解码、FFmpeg集成xh264&＃xff0c;FFmpeg集成Rtmp推流等。

• 高级

深入研究音视频相关的网络协议&＃xff0c;如 rtmp&＃xff0c;hls&＃xff0c;以及封包格式&＃xff0c;如&＃xff1a;flv&＃xff0c;mp4。

深入学习一些音视频领域的开源项目&＃xff0c;如 webrtc&＃xff0c;ffmpeg&＃xff0c;ijkplayer&＃xff0c;librtmp 等等。

尝试造一个ijkplayer的轮子等。

尝试使用OpenGL模仿各种抖音效果等等。

• 学习方式这种事情因人而异&＃xff0c;有的人喜欢看书&＃xff0c;有的人喜欢看博客&＃xff0c;而对于笔者来说就是看视频是最快的进步方式。

• 我很信奉一句话叫做读万卷书不如行万里路&＃xff0c;行万里路不如仙人指路。所以能找到一个这方面的牛人或者领导带的话是最好的&＃xff0c;但这可遇不可求。

• 根据smart目标管理原则制定你的学历计划&＃xff0c;一旦定下来之后&＃xff0c;严格执行。不要说今天指定了计划&＃xff0c;蒙头大睡一晚上&＃xff0c;第二天起来什么行动也没用继续埋怨社会的不公&＃xff0c;明日复明天最可悲。

• 带着问题带着笔记去Google。学习就要有记录&＃xff0c;有自己的理解&＃xff0c;最好的验证方式是学完一个知识点&＃xff0c;能不能自己尝试这写一编通俗易懂的博客。最忌讳的就是打开Google搜索到问题&＃xff0c;觉得这篇博客不错&＃xff0c;右键添加到收藏夹&＃xff0c;那篇博客也不错&＃xff0c;右键添加到收藏夹&＃xff0c;或者文章都没看完&＃xff0c;看到一半迅速拉到底自欺欺人说我会了。其结果就是自己什么也没用学到还浪费了时间。

• 先会用再讲拓展和深究原理。熟练使用之后要尝试造轮子&＃xff0c;虽然说不要重复发明轮子&＃xff0c;但是尝试做自己的轮子确实是一个进步的最好的实践。或者说我针对目前这个库或者这个框架存在的问题&＃xff0c;我自己写一个能不能有更加优异的表现。

• 举一反三。学技术就是要有追求&＃xff0c;熟练使用之后就要想人家为什么要这么写&＃xff0c;我那样子写行不行&＃xff1f;我能还有其他的方式也可以实现这样的功能&＃xff0c;为什么作者没用采用&＃xff1f;

罗马不是一日建成的&＃xff0c;如果能速成&＃xff0c;音视频开发的岗位薪资也不会那么高&＃xff0c;高有高的难度&＃xff0c;难度就是价值所在。
指定计划一定要追求踏实&＃xff0c;不要追求速成。俗话说饭要一口一口吃,路要一步一步走&＃xff0c;走得太快小心扯蛋&＃xff01;&＃xff01;&＃xff01;

音视频其实很多都是跨平台的东西&＃xff0c;和平台绑定的东西不多。基本可以做到一里通百里明。
音视频是个水很深的领域&＃xff0c;很难做到全部精通&＃xff0c;但这个领域有个好处&＃xff0c;就是知识更新速度比较慢&＃xff0c;学的东西不容易被淘汰&＃xff0c;经验的积累将会撬动你更大未来可能的一个支点。

所有的伟大都来源于一个勇敢的开始&＃xff0c;定了目标就冲吧。

最后如果你对音视频开发感兴趣可扫码关注&＃xff0c;后续我们共同探讨&＃xff0c;共同进步。