以身体为中心的听觉反馈设计原则心得体会

我们的身体将我们与周围的物质世界紧密相连，我们通过身体与周围环境互动，通过身体感官（包括听觉）感知周围的世界。听觉常常能带给我们对周围情境的直观体会，引起身体状态的调整或者情绪的变化和波动。比如说人的身体可以用作“感知尺”来测量周围对象的大小，改变周围房间的混响大小和效果时，人可能会觉得外部房间比自己通常认为的更大。闭上眼睛切断视觉连接，当你听到的声音是从比你小得多的身体产生的时候，门就变大了，用户就可能获得爱丽丝漫游仙境般的体验。
也就是说，人的实际身体和自己感知里的身体可能是存在差异的。人对环境的感知包括对自己身体的感知是通过感官反馈实现的，一旦改变了感觉的认知（如听觉），人对世界和他们自己身体的看法就会发生改变。基于这种情况，目前有很多实验正在研究如何通过设计基于听觉等的交互方式改变身体感知，充分发挥声音的特点，带来不一样的交互体验。

一、声音与混合现实

声音在人机交互中有很多优点：

• 不干扰运动
• 能通知用户视野之外的事件
• 允许并行地呈现若干信息流
• 提供连续的信息流
• 能提供高时间分辨率和高灵敏度
• 从美学角度看能提供享受和娱乐

正是由于声音有很多其他感觉未必具备的优点，而以往的交互设计中我们往往会忽视声音的设计，如今将声音的设计考虑进交互设计中才显得更加必要。
一方面我们的身体由于自身的内部活动和与环境的相互作用而产生许多不同的声音，一旦没有了身体与环境互动时的声音，人就很难完成一些看起来很简单的活动。就像触摸物体表面，移动物体，插入电器或打开开关的时候，声音能给人体带来直接的反馈。将之运用到虚拟场景中，这些及时的声音反馈能塑造更强的真实感，也就是说声音对第一人称虚拟自我化身构成具有重要的作用。目前有些仅限音频的游戏能较好的说明声音在塑造虚拟场景时的重要性。

一个没有画面，只有声音提示的游戏《BlindSide》（http://www.blindsidegame.com）：


这款游戏是由epicycle制作的一款纯听觉恐怖解谜游戏，主创基于一次化学实验造成的暂时性失明的经历创造了这款游戏。玩家扮演一个教授，醒来后发现自己在一个箱子里，被蒙住双眼，整个城市都被毁灭了，到处都是不明生物。玩家带着耳机，试着通过声音提示逃生，利用不同的的线索判断目前的状况，比如交通或水龙头的声音。独特的无画面设计意味着这个游戏盲人或视力障碍的人也可以玩。
BlindSide融合了很多技术(包括3D声音仿真增强器，虚拟空间模型和陀螺感应器)，整个创作过程为了消除没有视觉带来的障碍进行了很多的尝试，用了1000多个声音特效和对话尽量模拟了末日虚拟场景，给玩家带来更真实的游戏体验。

另一方面我们的听觉对于不同的空间距离，处理的空间分辨率和灵敏度是不同的，这也反映在在虚拟空间中呈现声学事件的不同技术解决方案中。与远空间相比，我们的大脑专门处理和整合近空间的感觉信息。比如心跳的声音比起外界远处的声音能更好的引起人的注意力，影响人的心理状态和行为模式。同时在对声音影响情绪的研究中发现，身体对对于即将接近的不愉快声源和背后的声源情绪反应更激烈。以上可以概括为设计原则：

• 近空间中的声音优先于远处空间的声音处理；
• 创造更大的机会构成声音的自我化身；
• 在听众中引起更强烈的情绪反应。

二、声音与身体能力

我们的大脑使用包括声音在内的感官输入来跟踪我们身体不断变化的外观、我们不同身体部位在空间中的配置和位置、周围的空间，以及跟踪和调整运动动作的空间。我们的身体预测我们应该从身体互动中获得的听觉反馈，而当收到的声音反馈与这些预测不匹配时，可能会发生内部身体模型的更新，这也将导致我们执行的后续行动的调整。这些研究结果将会为我们更新新的技术设计原则，我们甚至可以利用与身体动作相关的声音来增强感知的身体及其能力。

“正向内部模型”理论：我们通过考虑大脑发出的运动指令（例如，作用力、运动方向）和身体尺寸和结构的心理模型，预测我们应该从身体互动中获得的听觉反馈。又通过这些反馈对身体的动作进行调整。

• 与动作相关的声音用于计划和指导自己的动作。人们使用与身体相关的声音来指导他们自己的行为，这为利用这些过程促进声音和引导运动的技术提供了可能性。

  &＃8212;-如延迟步行产生的声音可以调整一个人的步态。
  &＃8212;-听到与根据所施加的敲击强度预测的声音不匹配的弱敲击声时，人们感觉不那么愉快，通常会更加激动并且敲得更重。

• 通过声音改变心理身体模型。实时改变一个人的身体所产生的动作声音会对感知的身体大小产生影响。

  &＃8212;-如改变当自己的手敲击表面时产生的声音的空间位置，使得听到的声音起源于实际敲击的距离的两倍处，可以导致一个人的手臂感觉比以前更长。

• 用于感官替代或感知增强身体感知的声音。在人机交互的背景下用声音改变自己的身体感知，增强身体表现和积极关注自己身体。

  &＃8212;-在音乐和舞蹈等表演艺术中已经尝试使用交互式声音反馈作为关于自己身体的信息来源。

Benoit Maubrey，致力于将各种声音感应装置结合无线扩大机与大型音响的研究。在他的大多数作品中，服装能根据环境和参与者的演出发出伴奏乐曲的声音，服装发出的音响的旋律和节奏又会影响参与者的下一步行动。上图为他的部分作品。

三、声音与运动、情绪

听觉反馈机制对我们和对象的交互非常重要，我们不仅可以通过声音反馈描述特定动作，也可以通过声音感知物体的材料和大小。

材料感知 &＃8211; 动作循环：我们通过触摸物体来获取物体的信息，在与物体进行相互作用时势必会产生声音，虽然我们常常会因为其太平常而不在意它。这些反馈声音会在不知不觉中对我们的动作做出调整，事实上我们光凭声音反馈就能做到一些动作，比如用水将船只灌满。

部分触摸物体时产生的声音还可以计划和执行后续动作，比如移动物体前可以通过抓住物体的声音判断物体的材料进而调整物体的移动速度，以及通过步行的声音调整行走的风格。

声音除了能指导运动，帮助身体康复，在调整人的情绪方面也有积极的作用。一方面通过增加特定动作的音量，降低偏离动作轨道时的音量，可以指导用户的动作，将动作框定在期望范围内。有声波相关的研究表明，这种方式可以成功让测试者跟踪特定的动作速度曲线。除此以外，增强对目标的感知声音，可以提高自我效能感，实现目标的音响化已被证明能提高绩效。
另一方面利用声音可以解决情感障碍，在很多设计里会忽略情绪方面的影响，这往往会导致交互过程中的障碍。我们可以利用自然声音帮助运动，提供一个更美的愉快和放松的体验。声音和运动方面之间的映射需要易于理解，因为自然主义的声音是最放松的。同时声音还能增强人的信心，减少负能量。

下面以身体康复为例介绍声音在指导运动和引导情绪方面具有很大的作用。
音乐中风治疗项目（https://strokeproject.wordpress.com）

许多中风幸存者离开医院后，在康复方面得到的支持有限，这些人往往很难找到必要的动机，充分参与向他们推荐的体育锻炼。新的方法将理疗练习嵌入到一个有吸引力的框架中，可能更能激励中风幸存者。该项目的目标是研究和开发数字乐器（DMIS），以帮助中风幸存者通过强大的以用户为中心的设计以及来自健康专家的反馈和支持进行康复。 这是一种增强运动动力学的方法，在物理康复的背景下具有适用性。

四、以身体为中心的听觉反馈

综上所述，声音在人机交互设计上有很大的应用前景，上述的设计原则能通过采用以身体为中心的方法为应用程序设计提供更有效的声音反馈。在设计声音交互时，不光要考虑用户的情感状态，还要根据使用环境和使用者的个人心理和物理环境，选择与之相关的情感反应。

• 声音代表自我
• 感觉提高和增强
• 慎重对待动作感知回路中的阈值
• 设计情感

可穿戴传感器和计算机的使用呈指数级增长，不可避免地需要寻找将这些身体信息传递给用户的方法。日后人们对于以身体为中心的听觉反馈的应用会更广。

• 通过增强声音或呈现身体运动时产生的新声音来增强人们对身体运动、身体部位位置和大小的意识。（如防护服等）
• 量化自我的新兴运动（如空气、食物）的角度来处理人的日常生活。（如可穿戴计算服装等）
• 身体扩展或交换。（如能拥有一个形状和外观与我们实际身体非常不同的身体的经历。）
• 感官增强。（如听到内心声音的模拟可以被用作基于声波化身的治疗迫害性听觉幻觉的方法）
• 提供缺失的视觉或触觉输入。振动和听觉信号都能用来指示物体在没有视觉的情况下接近人体的位置。