VR音频，内容制作背后不可忽视的关键

无论是什么形式的VR内容&＃xff0c;如果能够在体验的时候听到有距离和层次的声音&＃xff0c;将会大大增加沉浸感体验。

当我们观看VR视频时&＃xff0c;往往会有种错觉&＃xff0c;听得到耳机里有声音&＃xff0c;但是却搞不清声音从哪里传来&＃xff1b;或者是偏个头换了观看视角&＃xff0c;但是声音并没有随着我们的视角“转过来”&＃xff0c;它仍然在原来的地方。确实&＃xff0c;如果VR内容里的音频处理不好&＃xff0c;沉浸式体验效果将会大打折扣。比如小编之前玩过一个VR射箭游戏&＃xff0c;虽然人是在虚拟环境里&＃xff0c;但是耳朵里听到的都是外面嘈杂的环境声。

什么是VR音频

VR音频的概念&＃xff0c;其实可以和3D音频挂钩。简而言之&＃xff0c;VR音频&＃xff0c;就是通过耳机或者音箱&＃xff0c;结合头部追踪等技术&＃xff0c;让体验者在转动头部等动作的时候可以听到自己各个方向不同距离和强度的声音。

通俗来说&＃xff0c;就是用户在现场实际能听到&＃xff0c;能带来临场感的声音。有做VR音频的业内人士介绍道&＃xff0c;“比如说在酒馆里的一个场景&＃xff0c;大家在讨论、喝酒以及各种聊天的声音&＃xff0c;你在那儿听的声音就应该是你觉得在现场的声音&＃xff0c;而且要和视频无缝对接。”

但是相比较现在VR体验上的一些眩晕、视觉上的问题&＃xff0c;声音其实被很多人忽视了。不过随着越来越多的公司进入到VR视频内容创作领域中&＃xff0c;VR音频正在成为大家攻坚的一个新方向。

在VR音频中&＃xff0c;这些公司在行动

传统的音频技术公司杜比实验室&＃xff0c;和专注于VR视频拍摄制作的Jaunt展开合作&＃xff0c;在Jaunt的VR内容融入了杜比全景声&＃xff0c;用户通过Jaunt VR应用可以轻松访问到所有支持杜比全景声的虚拟现实体验。

2015年4月&＃xff0c;谷歌收购了专门为VR打造现实音效的初创公司Thrive Audio&＃xff0c;THRIVE Audio是一家诞生于都柏林大学圣三一学院&＃xff08;Trinity College Dublin&＃xff09;工程系的公司&＃xff0c;它专注于设计可以体验3D音频的耳机。

2016年5月份&＃xff0c;Facebook收购VR音频公司Two Big Ears。Two Big Ears是一家位于苏格兰的初创型企业&＃xff0c;专门为全景视频等内容打造空间音效。Two Big Ears把其音频软件免费提供给感兴趣的VR内容制作人&＃xff0c;而Facebook借此机会来吸引更多的人打造VR内容。

英伟达推出专门用于虚拟现实场景的“VRWorks Audio”音频技术&＃xff0c;VRWorks Audio利用英伟达OptiX光迹追踪引擎&＃xff0c;能够即时追踪环境中的多个声音路径&＃xff0c;真实的反映出周围环境中物体的大小、形状和材料。

Oculus授权VisiSonic的音频技术&＃xff0c;并最终将其融入Oculus Audio SDK 中。这项技术经过定制的HRTF算法&＃xff0c;可以实时计算出游戏世界中声源的方位与距离信息。

2017年&＃xff0c;Valve收购了一家叫Impulsonic的VR音频公司&＃xff0c;该公司为游戏开发者创建了基于物理原理的空间音频定位软件。他们的产品Phonon 3D可以让开发者为他们的3D环境及VR体验增加双声道3D音频。

对于普通消费者来说&＃xff0c;或许会疑惑&＃xff0c;如何在只有双声道立体声输出的耳机上听到来自各个方向的声音呢&＃xff1f;其实&＃xff0c;如果想要得到理想的VR音频&＃xff0c;从音频的采集到编辑制作以及最后的合成输出&＃xff0c;整个流程需要攻克很多技术难题。目前业内比较成熟的解决方案也不少&＃xff0c;但是大部分都还停留在理论的层面&＃xff0c;实际应用的案例少之又少。

VR音频如何采集录制&＃xff1f;

HRTF&＃xff08;人头传递函数&＃xff09;

首先我们科普一下一种叫做双耳录音&＃xff08;Binaural recording&＃xff09;的技术。这个技术能够逼真的模拟人耳对声音定位以及频率的响应。HRTF就是基于这个技术用数学模型来建模的一种音频定位算法。通过HRTF的算法&＃xff0c;能够在最终输出的音频中还原出音源的方向和距离。

在实际运用中&＃xff0c;HRTF可以想象成是一个滤波器&＃xff0c;对原始声音进行频段上的调整&＃xff0c;使其接近人耳接收到的听感效果。

Waves的Nx技术

Waves的Nx技术核心是用算法将传统录音中缺失的信息插入到信号中&＃xff0c;以此来让大脑在聆听音乐时获得空间感。为了增强现场感&＃xff0c;Nx技术还允许用户键入个人头部及耳朵的尺寸信息&＃xff0c;算法可以根据这些信息进行实时调整。

它提供了一个叫Head Tracker 硬件&＃xff0c;这个集成了陀螺仪的硬件可以绑定到耳机上&＃xff0c;然后电脑实时计算陀螺仪变化后声像的变化&＃xff0c;再配合英特尔的Real Sense摄像头&＃xff0c;Waves提供的软件就能追踪头部移动&＃xff0c;在耳机中获得具有沉浸感的声音体验。

Ambisonics

Ambisonics是一种研发于上个世界70年代的球形环绕声技术。它既是一种录音制式&＃xff0c;也是一种编解码算法。

从录音制式来看&＃xff0c;Ambisonics可以理解为是M/S立体声录音制式的三维扩展&＃xff0c;以一定方式组合的四个振膜阵列记录了具有高度和深度信息的四轨声音信号。

从编解码方式来看&＃xff0c;采用 Ambisonics 方式录制得到的声音信号可以通过计算变换后&＃xff0c;以双声道立体声、5.1、7.1&＃xff0c;甚至是11.1、22.2等各种多声道环绕声格式来输出。另外&＃xff0c;Ambisonics可以作为一种音频文件格式用于保存和流通&＃xff0c;YouTube在去年推出的支持全景视频的音频格式就采用了Ambisonics技术。

无论是采取哪种形式采集录制VR音频&＃xff0c;最终的目的都是能够在VR中感受到真正具有沉浸感的声音。总的来说&＃xff0c;相比较2016年前半段时间&＃xff0c;现在已经有越来越多的大公司开始布局VR音频。不过想要真正实现虚拟现实中的临场音频效果&＃xff0c;还需要面对采集成本、现场干扰等等因素&＃xff0c;路漫漫其修远兮&＃xff0c;VR音频还需要“上下求索”。