音频压缩

消除冗余信息 - 20HZ以下&＃xff0c;2万HZ以上的数据人不敏感&＃xff0c;属于无效 有损压缩

无损压缩

音频冗余信息

音频压缩技术是在保证信号在听觉方面不失真的前提下&＃xff0c;对音频数据信号进行尽可能大的压缩。

压缩的主要方法是去除采集到的音频荣冗余信息。所谓冗余信息包括人耳听觉范围外20HZ~2万HZ的音频信号以及被掩盖掉的音频信号。

信号的遮蔽可以分为频域遮蔽和时域遮蔽

频域遮蔽效应即简单来说就是在频率相近的情况下&＃xff0c;强度大的遮蔽强度小的&＃xff0c;但是无法遮蔽频率不相近的&＃xff0c;哪怕是强度明显大于其强度

时域遮蔽效应&＃xff0c;即强度大的会遮蔽前后一定时间内其他小强度的声音。

熵编码-代指无损编码

哈夫曼编码->用很小的一串0和1的二进制数代替一个特别长的字符&＃xff0c;用小的代替长的&＃xff0c;频率越高的编码越小&＃xff0c;频率越低的编码越长

算术编码->通过二进制的小数进行编码

香农编码->算术编码就是在香农编码的基础上改进而来的

时域转频域变换&＃xff1a;将时域一块长时间的数据交给模块转换为频域&＃xff0c;转换成多种频段的数据&＃xff0c;便于拆出哪些是需要的数据&＃xff0c;哪些是不需要的。

心理声学模型&＃xff1a;去掉20HZ~2万HZ之外的&＃xff0c;以及一些被遮蔽的声音

常见的音频编码器包括OPUS、AAC、Ogg、Speex、iLBC、AMR、G.711等

OPUS&＃xff1a;在线教育、音视频会议常用&＃xff0c;延迟小压缩率高等优点&＃xff0c;近些年比较突出。OPUS是较新的音编码器&＃xff0c;WebRTC中默认使用。

AAC&＃xff1a;目前应用最广泛的编解码器&＃xff0c;用于IOS、安卓系统、嵌入式设备等都包含了硬件的AAC编解码&＃xff0c;ffmpeg中也有很多的AAC编解码器。AAC在直播系统中应用广泛。

Ogg&＃xff1a;收费&＃xff0c;应用不是太广泛

Speex&＃xff1a;在OPUS和AAC出现前使用广泛&＃xff0c;有一个很好的优点&＃xff0c;包括了回音消除的功能。

G.711&＃xff1a;一般用于固话&＃xff0c;窄带音频&＃xff0c;编解码后的数据非常小&＃xff0c;但是声音损耗严重

网上评测结果&＃xff1a;OPUS > AAC > Ogg

纵轴是质量&＃xff0c;横轴是码流大小

纵轴是延迟性&＃xff0c;横轴是码率

AAC介绍

AAC(Advanced Audio Coding)由Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同研发&＃xff0c;目的是取代MP3格式。

最开始是基于MPEG-2的音频编码技术&＃xff0c;MPEG-4标准出现后&＃xff0c;AAC重新集成了其特性&＃xff0c;加入了SBR和PS技术。

目前常用的规格有AAC LC、AAC HE V1、AAC HE V2

图中蓝色的AAV HE V2 是误笔&＃xff0c;实际上是AAC HE V2

AAC 规格描述

AAC LC&＃xff1a;(Low Complexity)低复杂度规格&＃xff0c;码流是128k&＃xff0c;音质好。

AAC HE &＃xff1a;等于AAC LC &＃43; SBR(Spectral Band Replication)。其核心思想是按频谱分开保存&＃xff0c;低频编码保存主要成分&＃xff0c;高频单独放大编码保存音质。码流在64k左右。

AAC HE V2&＃xff1a;等于AAC LC &＃43; SBR &＃43; PS(Parametric Stereo)。其核心思想是双声道中的声音存在某种相似性&＃xff0c;只需存储一个声道的全部信息&＃xff0c;然后花很少的字节用参数描述另一个声道和她不同的地方。

AAC格式

ADIF(Audio Data Interchange Format)

这种格式的特征是可以确定的找到这个音频数据的开始&＃xff0c;只能从头开始解码&＃xff0c;不能在音频数据流中开始。这种格式常用在磁盘文件中。

相当于AAC数据加了一个头&＃xff0c;解码AAC文件时先对头进行解析&＃xff0c;拿到所有的参数信息&＃xff0c;通过参数进行解码

ADTS(Transport Stream)

这种流的格式特征是每一帧都有一个同步字&＃xff0c;所以可以在音频流的任何位置开始解码。它类似于数据流格式。

二者最本质的区别在于&＃xff0c;ADIF只可以从头播放&＃xff0c;如果播放前进行拖拽进度&＃xff0c;或者中间进行拖拽进度&＃xff0c;由于找不到头信息&＃xff0c;会无法播放&＃xff0c;但是ADTS因为每一帧都有同步字&＃xff0c;所以拖拽后可以向后寻找头信息进行播放。

Audio Object Types

1:AAC Main

2:AAC LC

…

5:SBR

…

29:PS

…

序号从1开始&＃xff0c;真正编码中要减一

所以从数据中读出来数字1时要加一&＃xff0c;即取2&＃xff0c;也就是AAC LC&＃xff0c;这是因为解析的数据是经过处理的&＃xff0c;而在处理时做了减一操作&＃xff0c;所以要在此进行复原。

Sampling Frequecy Index

• 0&＃xff1a;96000 Hz

• 1&＃xff1a;88200Hz

• 2&＃xff1a;64000Hz

• 3&＃xff1a;48000Hz

• 4&＃xff1a;44100Hz

• 5&＃xff1a;32000Hz

• 6&＃xff1a;24000Hz

• 7&＃xff1a;22050Hz

• 8&＃xff1a;16000Hz

• 9&＃xff1a;12000Hz

• 10&＃xff1a;11025Hz

• 11&＃xff1a;8000Hz

• 12&＃xff1a;7350Hz

• 13&＃xff1a;Reserved

• 14&＃xff1a;ReservedHz

• 15&＃xff1a;frequency is written explictly

  工具解析网址&＃xff1a;http://www.p23.nl/projects/aac-header/

这是一个在线解析ADTS头的网址&＃xff0c;输入头进行解析。

在实际使用中ADTS这类的头在ffmpeg中有相应的API使用&＃xff0c;也可以ffmpeg全线接管

如下命令&＃xff1a;

ffmpeg -i xxx.mp4

​ -vn -c:a libfdk_aac

​ -ar 44100 -channels 2 -profile:a aac_he_v2 3.aac

参数&＃xff1a;

-i-> 输入多媒体文件&＃xff0c;一定要包含音频数据,因为要获取aac&＃xff0c;并重新编码

-vn-> v代表vedio&＃xff0c;n代表no&＃xff0c;-vn过滤视频

-c->代表codec&＃xff0c;即编码&＃xff0c;a代表audio即使用音频编码器 指定音频编码器libfdk_aac&＃xff0c;libfdk_aac是当前众多aac编解码器中性能最好的

-ar->代表代表音频采样率

-channels->代表双声道&＃xff0c;即左右声道

-profile->对libfdk_aac编解码器设置一些参数&＃xff0c;在profile中指定a即对音频的设置&＃xff0c;设置为aac_he_v2&＃xff0c;也可以直接设为aac_he_v1、aac

最后输出aac文件名xxx.aac

ffmpeg的音频编解码器参数参考网址&＃xff1a;

http://ffmpeg.org/ffmpeg-codecs.html#libfdk_005faac