热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

FFmpeg/WebRTC/RTMP音视频流媒体高级开发知识点总结

知识点概要音视频基础知识开发环境支持WINLINUXMAC三大平台FFmpeg命令FFmpegAPIFFmpeg播放器FFmpeg转码器RTMPRTSPHLSHTTP-FLV流媒体

 

知识点概要

  • 音视频基础知识

  • 开发环境支持 WIN/LINUX/MAC 三大平台

  • FFmpeg 命令

  • FFmpeg API

  • FFmpeg 播放器

  • FFmpeg 转码器

  • RTMP/RTSP/HLS/HTTP-FLV 流媒体客户端开 发

  • SRS 流媒体服务器源码分析

  • WebRTC 一对一通话

  • WebRTC 多人通话

  • Janus SFU(WebRTC)服务器源码分析

相关系列学习视频:

【免费】RTMP/HLS/HTTP-FLV/RTSP流媒体实战

SRS 4.0流媒体服务器入门系列

RTSP、RTMP推流分析

直播延迟原因



 

1、音视频基础知识

基础知识:

  • PCM 格式、编码原理等

  • YUV 格式、IPB 帧原理等

Ffmpeg 环境搭建:

掌握Windows 平台、Linux 平台、 MAC 平台 三个平台的搭建

常用工具:

MediaInfo

 

2、FFmpeg 命令学习

2.1 命令帮助

  • 如何查询 Ffmpeg 命令帮助

  • Ffmpeg 命令分类

2.2 ffplay 命令

  • ffplay 播放控制

  • ffplay 播放 pcm 、yuv 、使用 filter

2.3 ffmpeg 命令

  • pcm 、yuv 、aac、h264提取

  • 视频录制命令

  • 多媒体文件的分解/复用命令

  • 裁剪与合并命令

  • 图片/视频互转命令

  • 直播相关命令

  • 各种滤镜命令


 

3、FFmpeg 编程实战

3.1 音视频渲染实战

  • SDL 环境搭建 、事件处理 、线程处理

  • YUV 视频播放实战

  • PCM 声音播放实战

3.2 FFmpeg API

  • FFmpeg 框架分析 、内存模型分析、常用结构体

3.3 音视频编解码

  • FFmpeg 解码流程分析

  • AAC、H264 编解码原理

  • AAC、H264 解码实战

  • MP3 转 AAC 实战

3.4 音视频封装格式

  • FLV、MP4 封装格式分析

  • 封装格式分析

  • 多媒体解复用实战

  • 多媒体复用实战

  • 多媒体转封装格式实战

  • 音频重采样

  • 视频尺寸变换

3.5 音视频过滤器

  • 音视频过滤器

  • 视频过滤器

  • 过滤器实际项目实现

3.6 ffplay 播放器

  • 掌握 ffplay.c 的意义

  • ffplay 框架分析

  • 音视频解码 、控制 、同步

  • 参数机制

3.7 播放器开发实战

  • 播放器框架分析

  • 模块划分

  • 音视频解码

  • 播放器控制

  • 音视频同步

3.8 ffmpeg 录制转 码

  • 掌握 ffmpeg.c 的意义

  • ffmpeg 框架分析

  • 音视频编码

  • 封装格式转换

  • 提取音频 、视频

  • logo 叠加

  • 音视频文件拼接

  • filter 机制


 

4、流媒体客户端实战

4.1 RTMP 流媒体

  • RTMP 协议分析

  • wireshark 抓包分析

  • H264 RTMP 、AAC RTMP封装

  • RTMP 拉流实战

  • H264 RTMP 、AAC RTMP解析

  • RTMP 推流实战

4.2 HLS 流媒体

  • HLS 、HTTP协议、TS 格式分析 、wireshark 抓包、FFmpeg HLS 源码分析

  • HLS 拉流实战、多码率机制

4.3 HTTP-FLV 流媒体

  • HTTP-FLV 协议分析 、wireshark 抓包分析 、http chunk 机制分析

  • HTTP-FLV 拉流实战

  • FFmpeg HTTP-FLV 源码分析

4.4 RTSP 流媒体实战

  • RTSP 、RTP、RTCP协议分析

  • H264 RTP封装、 解析

  • AAC RTP封装 、解析

  • RTSP流媒体服务器搭建、推流、拉流实战

  • wireshark 抓包分析


 

FFmpeg视频点击 学习资料 获取、备注FFmpeg资料。

 

5、SRS 流媒体服务器

SRS 4.0 源码剖析

  • 整体框架分析

  • RTMP 推流分析、拉流分析

  • HLS 拉流分析

  • HTTP-FLV 拉流分析

  • FFmpeg 转码分析

  • 首屏秒开技术分析

  • forward 集群源码分析

  • edge 集群源码分析

  • 负载均衡部署方式


 

6、WebRTC 实战

6.1 WebRTC 中级开发

  • WebRTC 通话原理分析

  • WebRTC 开发环境搭建

  • coturn 最佳搭建方法

  • 如何采集音视频数据

  • 一对一通话时序分析

  • 信令服务器设计

  • SDP 分析

  • Candidate 类型分析

  • Web 一对一通话

  • Web 和 Android 通话

  • AppRTC 快速演示

6.2 WebRTC 高级开发

  • 自定义摄像头分辨率

  • 码率限制

  • 调整编码器顺序

  • Mesh 模型多方通话

  • Janus 框架分析

  • Janus Web、Android、Windows客户端源码分析

  • Janus 信令设计

  • 基于 Janus 实现会议系统

  • WebRTC 源码编译

  • 拥塞控制算法

  • FEC

  • jitter buffer

6.3 Janus 服务器源码分析

  • 源码结构

  • 插件机制

  • 线程分析

  • 信令交互过程

  • videoroom 分析

  • sdp、rtp、srtp、rtcp 、stun、turn 分析


 

7、Android NDK 开发

音视频开发

  • So 库适配总结

  • JNI Native 层构建 Java 对象

  • JNI 异常处理

  • 编译 FFmpeg、ijkplayer

  • 基于 ijkplayer 二次开发

  • OpenSL ES 播放音频数据

  • MediaCodec 硬件解码

  • OpenGL ES Shader 显示视频

  • RTMP 推流直播

ps:音视频学习知识体系


推荐阅读
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
  • 本文详细介绍了macOS系统的核心组件,包括如何管理其安全特性——系统完整性保护(SIP),并探讨了不同版本的更新亮点。对于使用macOS系统的用户来说,了解这些信息有助于更好地管理和优化系统性能。 ... [详细]
  • 2023年京东Android面试真题解析与经验分享
    本文由一位拥有6年Android开发经验的工程师撰写,详细解析了京东面试中常见的技术问题。涵盖引用传递、Handler机制、ListView优化、多线程控制及ANR处理等核心知识点。 ... [详细]
  • Google最新推出的嵌入AI技术的便携式相机Clips现已上架,旨在通过人工智能技术自动捕捉用户生活中值得纪念的时刻,帮助人们减少照片数量过多的问题。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文将介绍如何编写一些有趣的VBScript脚本,这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例,帮助您了解VBScript的基本语法和功能。 ... [详细]
  • 本文总结了2018年的关键成就,包括职业变动、购车、考取驾照等重要事件,并分享了读书、工作、家庭和朋友方面的感悟。同时,展望2019年,制定了健康、软实力提升和技术学习的具体目标。 ... [详细]
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 如何在窗口右下角添加调整大小的手柄
    本文探讨了如何在传统MFC/Win32 API编程中实现类似C# WinForms中的SizeGrip功能,即在窗口的右下角显示一个用于调整窗口大小的手柄。我们将介绍具体的实现方法和相关API。 ... [详细]
  • 本文详细解析了Python中的os和sys模块,介绍了它们的功能、常用方法及其在实际编程中的应用。 ... [详细]
  • ServiceStack与Swagger的无缝集成指南
    本文详细介绍了如何在ServiceStack项目中集成Swagger,以实现API文档的自动生成和在线测试。通过本指南,您将了解从配置到部署的完整流程,并掌握如何优化API接口的开发和维护。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
  • Ralph的Kubernetes进阶之旅:集群架构与对象解析
    本文深入探讨了Kubernetes集群的架构和核心对象,详细介绍了Pod、Service、Volume等基本组件,以及更高层次的抽象如Deployment、StatefulSet等,帮助读者全面理解Kubernetes的工作原理。 ... [详细]
  • libsodium 1.0.15 发布:引入重大不兼容更新
    最新发布的 libsodium 1.0.15 版本带来了若干不兼容的变更,其中包括默认密码散列算法的更改和其他重要调整。 ... [详细]
author-avatar
段娜688
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有