选择视频编码器的误区傅德良

大家好&＃xff0c;我是傅德良&＃xff0c;在Hulu主要负责的团队是在做音视频编解码和传输相关的一些优化和开发的工作&＃xff0c;很高兴跟大家聊一聊对于视频编码器的对比和选择。

主要内容分为以下三个方面&＃xff1a;

1&＃xff0c;纷争的视频标准与视频编码器

2&＃xff0c;视频编码器对比中的常见误区

3&＃xff0c;选择最合适的视频编码器

由于今天的热身分享时间相对比较有限&＃xff0c;所以今天主要会讲常见误区这一块&＃xff0c;关于选择最合适的视频编解码器这个领域&＃xff0c;更多的会在10月份的LiveVideoStackCon 正式分享中进行介绍。

前言

关于Hulu

Hulu是美国的一家在线流媒体服务公司&＃xff0c;在中国并没有业务&＃xff0c;主要服务的是美国的用户。Hulu是由美国最大的几家传统的媒体公司合资创办的&＃xff0c;它的使命是为了重新定义电视这一行业。大家也知道电视这一行当已经出现很久了&＃xff0c;不过一直到现在&＃xff0c;它在每个人的生活中仍然具有相当重要的地位。在Hulu上既有点播&＃xff0c;也有直播的内容&＃xff0c;我们站上的这些视频大部分都是高质量的视频&＃xff0c;主要是一些美剧&＃xff0c;还有一些电影&＃xff0c;同时也有一些自制剧&＃xff0c;Hulu近几年自制剧上面也有一些比较多的好剧出来。

         上图是一个由第三方的数据公司做的美国比较主流的几个在线流媒体服务公司的一些数据统计&＃xff0c;第一列的大概意思就是说&＃xff0c;如果一个人从来没有用过有线电视&＃xff0c;他直接就开始在电视上使用在线流媒体服务的情况&＃xff0c;我们称之为Cordless&＃xff0c;Hulu在这几家公司里面是最高的。而且Total OTT Viewing Hours和Viewing Days也是最高的&＃xff0c;也就是说对于Hulu来讲&＃xff0c;用户在站上的黏性是非常高的。Hulu的商业模式是付费加广告的一种模型&＃xff0c;也就是说首先需要付费成为付费玩家才能够真正的在我们的站上观看视频&＃xff0c;在此基础之上&＃xff0c;还可以选择去广告或者是有广告。在这种模式下&＃xff0c;为了提供比较优质的内容&＃xff0c;视频质量对于我们的这种服务来讲是非常重要的&＃xff0c;因此&＃xff0c;不断地提高视频的传输和压缩的水平是非常重要的。所以&＃xff0c;Hulu经常会做一些不同的编码器&＃xff0c;不同的技术之间的一些选型&＃xff0c;在这方面我们也积攒了一些相关的经验。

纷争的视频标准与视频编码器

1&＃xff0c; 视频编解码标准

视频编解码标准一般是由一些标准化组织去组织创办和制订的一种规范&＃xff0c;它主要规定了我们在网络上传输视频的码流格式&＃xff0c;从码流格式中也相应的规定了音视频编解码的基本流程。从流程上来讲&＃xff0c;编解码标准主要统一的是编码器和解码器的接口&＃xff0c;它通过规定了码流的格式&＃xff0c;也就规定了在编码标准中可以使用的一些编解码工具的集合&＃xff0c;也就能够保证音视频的压缩效率。

上图是目前最常见的混合编码框架的基本流程图&＃xff0c;这里就不细讲了&＃xff0c;整个视频编码的基本原理就是通过一系列的方法去除冗余&＃xff0c;最终达到降低码率&＃xff0c;但是同时又能够恢复原始图像的目的。另外&＃xff0c;编解码标准只是对码流进行了一系列的规定&＃xff0c;事实上它并没有去具体的规定编码是怎样做的&＃xff0c;如果你去看标准文档&＃xff0c;它其实规定的是整个解码的流程。

2&＃xff0c; 视频编码器

视频编码器实际上跟视频编解码标准是有很大不同的&＃xff0c;视频编码器是视频编解码标准的一种代码实现&＃xff0c;但是同一套算法的不同的实现&＃xff0c;性能和效率的差别都是很显著的。视频编码器之间的主要差异分为以下几个方面&＃xff1a;

1&＃xff09; 视频编解码标准中压缩工具的支持情况

2&＃xff09; 针对视频编码速度的优化

3&＃xff09; 针对视频编码质量的优化

4&＃xff09; 功能和代码的可扩展性

5&＃xff09; 商用 vs. 免费

举个例子&＃xff0c;有人认为HEVC编码器一定比H.264的编码器要强&＃xff0c;但是我们知道在HEVC中有很多种不同的预测方向&＃xff0c;如果我设计一种编码器不使用帧间预测&＃xff0c;只使用帧内预测&＃xff0c;而且不管内容是怎样的&＃xff0c;都使用这一个固定的模式来进行编码&＃xff0c;那么这样编出来的码流可想而知&＃xff0c;它的预测的效果是很差的&＃xff0c;压缩的效率会非常的低。虽然码率很高&＃xff0c;质量很差&＃xff0c;但是这个码流仍然可能是符合HEVC标准的。相对来说&＃xff0c;如果用H.264的来做编码&＃xff0c;但是整个编码器的优化做得非常的好&＃xff0c;整个的码率控制都优化到了非常优秀的程度&＃xff0c;那么这个H.264编码器编出来的视频码流的质量完全可以比HEVC编码器编出来的效果更好。在视频编解码领域&＃xff0c;新的标准刚刚出来的时候&＃xff0c;大家不会很快的去采用这种新标准的编码方案&＃xff0c;原因就是在于编码器端的优化还没有做到位&＃xff0c;所以说单纯在考虑编码器的性能和它对这种标准的支持是非常片面的一种做法。因此&＃xff0c;在实际的工作中&＃xff0c;选择编码器一定不要盲目的相信H.265的编码器就一定比H.264的编码器好&＃xff0c;这个是不一定的&＃xff0c;甚至有些时候一些比较Low的标准也可以做得很好。因此&＃xff0c;在选择编码器的时候&＃xff0c;要从上述的视频编码器之间的差异出发来选择。

3&＃xff0c; 纷争的编解码标准与编码器

在整个编码器对比的过程中&＃xff0c;经常遇到的一个非常大的误区就是把视频编解码标准和视频编码器混为一谈。

上面简单罗列一下目前市面上的很多种不同的编解码标准以及不同标准的编码器&＃xff0c;在实际生产中&＃xff0c;作为一个在线视频提供方&＃xff0c;如果希望自己去做视频的压缩&＃xff0c;那么在编码器的选择上&＃xff0c;毫无疑问是一个大问题。并不是说&＃xff0c;市面上只有那么几款编码器直接用就行了&＃xff0c;并不是那么的简单&＃xff0c;在很多的场景中&＃xff0c;我们都会遇到如何去对比不同的音视频编码器来选择适合的编解码器的课题。

视频编码器对比中的常见误区

1&＃xff0c; 误区一&＃xff1a;脱离速度评价质量

从视频编解码标准的发展历史来讲&＃xff0c;整体来说是复杂度越来越高&＃xff0c;效率越来越高。在很多场景下&＃xff0c;视频编码中速度和质量在一定范围内是可以相互转换的&＃xff0c;也就是说可以牺牲质量来加快速度。因此&＃xff0c;如果只是单纯考虑质量维度&＃xff0c;但不考虑速度&＃xff0c;就会有很大的误差&＃xff1b;此外&＃xff0c;即使同一编码器的不同的速度档次之间的质量差距也可以非常的巨大。

上图是我们内部对开源的HEVC编码器的测试图&＃xff0c;可以看出对于同一编码器&＃xff0c;在不同的速度档次下&＃xff0c;质量是有差距的&＃xff1b;在相同码率下&＃xff0c;速度越快&＃xff0c;质量也相对较低。因此&＃xff0c;我们在对比不同编码器的编码质量时&＃xff0c;一定要在同一速度下比较编码质量才有意义。

2&＃xff0c; 误区二: 速度对比中环境不一致

为了达成准确的视频编码器对比&＃xff0c;需要使得编码器速度一致再进行对比&＃xff0c;在这个过程中&＃xff0c;有的时候会有一个问题即对比的环境不一致。当编码器放在不同的这种软硬件环境下进行测试时&＃xff0c;对比结果可能有很多的误差。由于优化和实现上的区别&＃xff0c;各编码器在不同运行环境下速度差别显著。在对比不同编码器的过程中&＃xff0c;我们需要考虑到CPU线程数量&＃xff0c;硬件加速环境和开关&＃xff0c;CPU指令集支持情况和内存容量、带宽等因素。要在相同的测试环境下对比&＃xff0c;不一致或不合理的测试环境会导致编码器对比结果不正确。

3&＃xff0c; 误区三: 脱离码率范围对比质量

在视频编码的过程中&＃xff0c;视频编码质量通常与视频编码码率成正相关&＃xff0c;但并非线性相关。在大的码率范围内&＃xff0c;随着码率的进一步增加&＃xff0c;质量的增加是慢慢的衰减的&＃xff0c;这也就意味着说&＃xff0c;各个编码器在不同的码率范围的性能表现可能是很不一致的。在实际生产中&＃xff0c;视频编码码率潜在范围非常宽广&＃xff0c;例如&＃xff0c;同样都是720P的AVC的编码器&＃xff0c;有的用5000kbps&＃xff0c;有的用500kbps。对于一些硬件编码器&＃xff0c;在低码率的情况下&＃xff0c;速度很快&＃xff0c;编码质量也还可以&＃xff0c;它的编码效果就比一些软件编码器要好。但在高码率的情况下&＃xff0c;硬件编码器可能由于它的编码工具实现的不够完善导致质量上不去&＃xff0c;这时候软件编码器就会表现的更好。因此&＃xff0c;在对比编码器的时候&＃xff0c;一定要在它合适的码率范围内来比较性能&＃xff0c;脱离码率范围对比编码质量很容易导致错误结论。

4&＃xff0c; 误区四: 仅依赖小规模公开测试序列进行测试

在视频编码的过程中&＃xff0c;视频编码效率与视频内容高度相关的&＃xff0c;同一视频编码器在不同类型内容上的表现经常是不一致的。此外&＃xff0c;还有一部分编码工具主要针对某一类视频有效&＃xff0c;它主要针对某一特定场景有效&＃xff0c;如果你的测试场景并不包含它&＃xff0c;这个测试的结果就不会好。因此在测试过程中&＃xff0c;最好能够针对你的业务需求由真正的应用场景去设计比较大规模的测试集&＃xff0c;仅仅依赖小规模公开测试序列测试容易引入误差。测试群规模小就不能够涵盖产品中的所有情况&＃xff0c;而且公开测试序列不能体现业务特点与需求&＃xff0c;此外还有部分编码器针对公开测试序列进行了过拟合的调优&＃xff0c;这些都会导致测试结果误差较大。

5&＃xff0c; 误区五: 仅使用PSNR评价质量

        PSNR为视频编码领域经典指标&＃xff0c;至今被广泛应用&＃xff0c;它是纯客观指标&＃xff0c;单纯体现编码后视频与原始视频差异程度。但是像PSNR这样子的纯客观指标是有一定的局限性的&＃xff0c;在很多情况下并不能正确反映视频主观质量。

上面两幅图如果用PSNR来衡量&＃xff0c;与原图相比较它们的PSNR的大小是一样的。但是我们很明显的可以看到&＃xff0c;右边的图它有一些噪音在里面&＃xff0c;在主观上来看&＃xff0c;左边的图比右边的图质量要好。因此&＃xff0c;如果单纯使用PSNR评价质量可能会使的我们进入一些误区&＃xff0c;而且近些年&＃xff0c;很多的编码器里都会有基于主观质量进行的优化。

选择最合适的视频编码器

当我们避开上面的误区时&＃xff0c;选择的编码器一般是相对靠谱的。在选择编码器的过程中&＃xff0c;我们要充分考察业务需求&＃xff0c;选定必要功能&＃xff0c;还要详细考察运行环境&＃xff0c;并相应制定测试环境。在测试的过程中&＃xff0c;要明确定义测试目标&＃xff0c;要注意编码速度和码率范围。此外&＃xff0c;如果是你只是想做个学术的研究&＃xff0c;只用公开的序列就足够&＃xff0c;对于工业实践还要根据自己的业务需求定制特定的测试序列&＃xff0c;而且测试序列规模应当足够大。最后评价编码器的编码质量要主观质量和客观质量结合起来&＃xff0c;不可仅仅从单一方面评价好坏。

Q&A

Q1: 请问有没有公开大量数据集的计划&＃xff1f;

A: 如果你关注的话&＃xff0c;你会发现在业界对于数据集的公布&＃xff0c;成本是比较高的&＃xff0c;因为它除了拍摄还有一个处理的过程&＃xff0c;还有包括一些版权&＃xff0c;这些相对来讲还是比较复杂的&＃xff0c;我们目前暂时没有公布测试数据集的一种行为。在业界有一些公司其实是能够找到一些的&＃xff0c;但是数量坦白的说也并不是非常的大&＃xff0c;个人建议就是说还是在自己的业务场景里边根据自己的需求去做&＃xff0c;像这样相对来讲比较靠谱一些。

Q2: 数字水印有什么好的测量方法呢&＃xff1f;

A: 这块没有太多涉及&＃xff0c;在我们的业务中比较少涉及到数字水印&＃xff0c;不同的水印原理也不一样&＃xff0c;据我所知在美国市场上有一些这种数字水印&＃xff0c;它并不一定是加在视频上的&＃xff0c;有的时候是加在音频上的&＃xff0c;据我所知&＃xff0c;尼尔森有一些这种数字水印的技术&＃xff0c;它的原理是把它加在人耳不容易感知到的频段上&＃xff0c;再使用相关的设备进行相关的提取。视频上面的话&＃xff0c;没有接触过。

Q3: X264除了参数调优以外提升质量还有哪些的优化&＃xff1f;

A: X264这个编码器本身的优化做得已经比较好了&＃xff0c;如果说参数调优不考虑在内的话&＃xff0c;这个也要看你的业务场景&＃xff0c;如果说你的业务场景是这种对编码速度要求很高的情况的话&＃xff0c;你可以考虑对它的这种原有的这些速度级别进行有针对性的一些筛选&＃xff0c;比方说它原来给你提供了大概八九个不同的速度的级别&＃xff0c;但是如果你需要一个比较快的档次的话&＃xff0c;你可以自己对这些工具进行定制化的改动。其他的话&＃xff0c;就是比较外围的&＃xff0c;很多都是跟参数调优相关的。

转载&＃xff1a; 傅德良 LiveVideoStackCon