热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

FFmpeg/WebRTC/RTMP音视频流媒体高级开发知识点总结

知识点概要音视频基础知识开发环境支持WINLINUXMAC三大平台FFmpeg命令FFmpegAPIFFmpeg播放器FFmpeg转码器RTMPRTSPHLSHTTP-FLV流媒体

 

知识点概要

  • 音视频基础知识

  • 开发环境支持 WIN/LINUX/MAC 三大平台

  • FFmpeg 命令

  • FFmpeg API

  • FFmpeg 播放器

  • FFmpeg 转码器

  • RTMP/RTSP/HLS/HTTP-FLV 流媒体客户端开 发

  • SRS 流媒体服务器源码分析

  • WebRTC 一对一通话

  • WebRTC 多人通话

  • Janus SFU(WebRTC)服务器源码分析

相关系列学习视频:

【免费】RTMP/HLS/HTTP-FLV/RTSP流媒体实战

SRS 4.0流媒体服务器入门系列

RTSP、RTMP推流分析

直播延迟原因



 

1、音视频基础知识

基础知识:

  • PCM 格式、编码原理等

  • YUV 格式、IPB 帧原理等

Ffmpeg 环境搭建:

掌握Windows 平台、Linux 平台、 MAC 平台 三个平台的搭建

常用工具:

MediaInfo

 

2、FFmpeg 命令学习

2.1 命令帮助

  • 如何查询 Ffmpeg 命令帮助

  • Ffmpeg 命令分类

2.2 ffplay 命令

  • ffplay 播放控制

  • ffplay 播放 pcm 、yuv 、使用 filter

2.3 ffmpeg 命令

  • pcm 、yuv 、aac、h264提取

  • 视频录制命令

  • 多媒体文件的分解/复用命令

  • 裁剪与合并命令

  • 图片/视频互转命令

  • 直播相关命令

  • 各种滤镜命令


 

3、FFmpeg 编程实战

3.1 音视频渲染实战

  • SDL 环境搭建 、事件处理 、线程处理

  • YUV 视频播放实战

  • PCM 声音播放实战

3.2 FFmpeg API

  • FFmpeg 框架分析 、内存模型分析、常用结构体

3.3 音视频编解码

  • FFmpeg 解码流程分析

  • AAC、H264 编解码原理

  • AAC、H264 解码实战

  • MP3 转 AAC 实战

3.4 音视频封装格式

  • FLV、MP4 封装格式分析

  • 封装格式分析

  • 多媒体解复用实战

  • 多媒体复用实战

  • 多媒体转封装格式实战

  • 音频重采样

  • 视频尺寸变换

3.5 音视频过滤器

  • 音视频过滤器

  • 视频过滤器

  • 过滤器实际项目实现

3.6 ffplay 播放器

  • 掌握 ffplay.c 的意义

  • ffplay 框架分析

  • 音视频解码 、控制 、同步

  • 参数机制

3.7 播放器开发实战

  • 播放器框架分析

  • 模块划分

  • 音视频解码

  • 播放器控制

  • 音视频同步

3.8 ffmpeg 录制转 码

  • 掌握 ffmpeg.c 的意义

  • ffmpeg 框架分析

  • 音视频编码

  • 封装格式转换

  • 提取音频 、视频

  • logo 叠加

  • 音视频文件拼接

  • filter 机制


 

4、流媒体客户端实战

4.1 RTMP 流媒体

  • RTMP 协议分析

  • wireshark 抓包分析

  • H264 RTMP 、AAC RTMP封装

  • RTMP 拉流实战

  • H264 RTMP 、AAC RTMP解析

  • RTMP 推流实战

4.2 HLS 流媒体

  • HLS 、HTTP协议、TS 格式分析 、wireshark 抓包、FFmpeg HLS 源码分析

  • HLS 拉流实战、多码率机制

4.3 HTTP-FLV 流媒体

  • HTTP-FLV 协议分析 、wireshark 抓包分析 、http chunk 机制分析

  • HTTP-FLV 拉流实战

  • FFmpeg HTTP-FLV 源码分析

4.4 RTSP 流媒体实战

  • RTSP 、RTP、RTCP协议分析

  • H264 RTP封装、 解析

  • AAC RTP封装 、解析

  • RTSP流媒体服务器搭建、推流、拉流实战

  • wireshark 抓包分析


 

FFmpeg视频点击 学习资料 获取、备注FFmpeg资料。

 

5、SRS 流媒体服务器

SRS 4.0 源码剖析

  • 整体框架分析

  • RTMP 推流分析、拉流分析

  • HLS 拉流分析

  • HTTP-FLV 拉流分析

  • FFmpeg 转码分析

  • 首屏秒开技术分析

  • forward 集群源码分析

  • edge 集群源码分析

  • 负载均衡部署方式


 

6、WebRTC 实战

6.1 WebRTC 中级开发

  • WebRTC 通话原理分析

  • WebRTC 开发环境搭建

  • coturn 最佳搭建方法

  • 如何采集音视频数据

  • 一对一通话时序分析

  • 信令服务器设计

  • SDP 分析

  • Candidate 类型分析

  • Web 一对一通话

  • Web 和 Android 通话

  • AppRTC 快速演示

6.2 WebRTC 高级开发

  • 自定义摄像头分辨率

  • 码率限制

  • 调整编码器顺序

  • Mesh 模型多方通话

  • Janus 框架分析

  • Janus Web、Android、Windows客户端源码分析

  • Janus 信令设计

  • 基于 Janus 实现会议系统

  • WebRTC 源码编译

  • 拥塞控制算法

  • FEC

  • jitter buffer

6.3 Janus 服务器源码分析

  • 源码结构

  • 插件机制

  • 线程分析

  • 信令交互过程

  • videoroom 分析

  • sdp、rtp、srtp、rtcp 、stun、turn 分析


 

7、Android NDK 开发

音视频开发

  • So 库适配总结

  • JNI Native 层构建 Java 对象

  • JNI 异常处理

  • 编译 FFmpeg、ijkplayer

  • 基于 ijkplayer 二次开发

  • OpenSL ES 播放音频数据

  • MediaCodec 硬件解码

  • OpenGL ES Shader 显示视频

  • RTMP 推流直播

ps:音视频学习知识体系


推荐阅读
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • 本文介绍了C#中生成随机数的三种方法,并分析了其中存在的问题。首先介绍了使用Random类生成随机数的默认方法,但在高并发情况下可能会出现重复的情况。接着通过循环生成了一系列随机数,进一步突显了这个问题。文章指出,随机数生成在任何编程语言中都是必备的功能,但Random类生成的随机数并不可靠。最后,提出了需要寻找其他可靠的随机数生成方法的建议。 ... [详细]
  • 本文介绍了在Windows环境下如何配置php+apache环境,包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]
  • 微软头条实习生分享深度学习自学指南
    本文介绍了一位微软头条实习生自学深度学习的经验分享,包括学习资源推荐、重要基础知识的学习要点等。作者强调了学好Python和数学基础的重要性,并提供了一些建议。 ... [详细]
  • 本文介绍了lua语言中闭包的特性及其在模式匹配、日期处理、编译和模块化等方面的应用。lua中的闭包是严格遵循词法定界的第一类值,函数可以作为变量自由传递,也可以作为参数传递给其他函数。这些特性使得lua语言具有极大的灵活性,为程序开发带来了便利。 ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 本文分享了一个关于在C#中使用异步代码的问题,作者在控制台中运行时代码正常工作,但在Windows窗体中却无法正常工作。作者尝试搜索局域网上的主机,但在窗体中计数器没有减少。文章提供了相关的代码和解决思路。 ... [详细]
  • 本文是一位90后程序员分享的职业发展经验,从年薪3w到30w的薪资增长过程。文章回顾了自己的青春时光,包括与朋友一起玩DOTA的回忆,并附上了一段纪念DOTA青春的视频链接。作者还提到了一些与程序员相关的名词和团队,如Pis、蛛丝马迹、B神、LGD、EHOME等。通过分享自己的经验,作者希望能够给其他程序员提供一些职业发展的思路和启示。 ... [详细]
  • 本文介绍了Java工具类库Hutool,该工具包封装了对文件、流、加密解密、转码、正则、线程、XML等JDK方法的封装,并提供了各种Util工具类。同时,还介绍了Hutool的组件,包括动态代理、布隆过滤、缓存、定时任务等功能。该工具包可以简化Java代码,提高开发效率。 ... [详细]
  • Metasploit攻击渗透实践
    本文介绍了Metasploit攻击渗透实践的内容和要求,包括主动攻击、针对浏览器和客户端的攻击,以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码,以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]
  • 生成对抗式网络GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN介绍
    一、GAN原理介绍学习GAN的第一篇论文当然由是IanGoodfellow于2014年发表的GenerativeAdversarialNetworks(论文下载链接arxiv:[h ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 如何用UE4制作2D游戏文档——计算篇
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 本文介绍了作者在开发过程中遇到的问题,即播放框架内容安全策略设置不起作用的错误。作者通过使用编译时依赖注入的方式解决了这个问题,并分享了解决方案。文章详细描述了问题的出现情况、错误输出内容以及解决方案的具体步骤。如果你也遇到了类似的问题,本文可能对你有一定的参考价值。 ... [详细]
  • HTML学习02 图像标签的使用和属性
    本文介绍了HTML中图像标签的使用和属性,包括定义图像、定义图像地图、使用源属性和替换文本属性。同时提供了相关实例和注意事项,帮助读者更好地理解和应用图像标签。 ... [详细]
author-avatar
段娜688
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有