在VR中设计电影情节:关于音乐和声音设计 VR开发心得

lewis2012 2017-07-03 15:01:09

原标题:在VR中设计电影情节:关于音乐和声音设计 VR开发心得

一百多年来,电影制片人一直在精心制作每一个镜头(从框架和构图到灯光和景深),来告诉观众,每一部电影的技术都被用来更好地指导屏幕上重要的元素。

image001.1498465522

我们用 Séance所做的是完全相反的,我们已经动态地精心制作了每一个场景,以了解观众的选择。这是电影故事的基本演变,需要有视频游戏开发的专门技术才能实现。(在我们的例子中,我们使用的是虚幻游戏引擎)落地大座钟听起来不一样,当你看到一个错综复杂的渐强的音乐和声音的设计,随着脑袋的角度,你转身发现一个幽灵在你后面,Séance塑造它的经验到观众的目光。其结果是一种新型的媒体叙事方式。

在这一系列的博客文章中,我将总结这些以及我们在我们的项目中所开发和利用的电影故事技巧。如果你想看到他们中的一些运作,我们已经为Oculus RiftHTC Vive发布了一个5分钟的免费预览( we havereleased a free five-minute preview of Séance)。

本系列其他博客:

PartOne: Composition

PartThree: Character Presence

PartFour: Anatomy of a Scene

 

第二部分:音乐与声音设计

在电影叙事中使用音乐和声音设计的艺术既成熟又非常先进。在电子游戏中同样如此,但是不同的方面。视频游戏具有创新的动态和自适应的音乐和声音设计,所有的音频都能实时地对游戏进行响应。

我们想把这些复杂的电子游戏技术带到虚拟现实的电影故事中。此外,我们还想利用实时3D游戏引擎的功能,比如像 FMOD之类的音频工具的功能来更深入地集成音频和视频。最后,我们想将这一切与我们在虚拟现实中最重要的观众输入(凝视)关联起来。

 

运行时间和非线性

电影的运行时间是影片的持续时间,它是一个固定的值。但是, Séance : The Unquiet的运行时间是不可预知的,根据观众的看法和时间,有一些场景会持续更长的时间或者更短的时间。这意味着我们不能采取静态的音乐和声音设计方法,而是使用电子游戏的工具来传送电影音频。

电影和视频游戏的线性与非线性特性分别是各方面技术差异的主要驱动因素。在线性格式中,任何给定的声音只能听到一次,并且用硬锁的视觉来赋予它的环境。因此,这种声音可以以某种方式来创造,以发挥最大的影响,也许通过增加低音来增加它的分量,或者增加一种情感上的刺激因素,例如在黑板上的一种令人毛骨悚然的尖叫或指甲。这种方法在线性媒体中很有效,因为视觉会给它提供背景,而这一刻很快就会过去,让听者没有时间去剖析声音或质疑它的情感影响。

在视频游戏中,声音常常被反复触发,要么是玩家行为的直接结果,要么是来自紧急的游戏环境。声音设计师不能总是依赖于视觉环境或故意短暂来加强声音的情感冲击。一声令人毛骨悚然的尖叫只用一次就会产生情感上的影响,但反复播放会让人感到厌烦。视频游戏的音频工具,如FMOD,克服了这一挑战,具有高度先进的功能,随机回放和引入音高和音量调制以及与游戏条件密切相关的自动化效果。

结果是,与线性电影的声音设计不同,视频游戏的声音设计包括将声音分解成模块化的片段,以及如何根据动态游戏条件在运行时对其进行组装的指令。事实证明,它在VR中非常有用,因为它密切关注声音在现实生活中的功能,我们从来没有听到两次相同的声音:轻微的头,一个遥远的飞机,一大群的小昆虫或其他成千上万的中断服务影响的空气体积和频率达到听者的耳朵时。利用这些技术使我们能够在一个三维空间内建立动人和可信的环境。

音乐和节拍器

在电影剪辑中,有一个切割节拍的概念,意思是你让编辑与音乐配乐保持一致。在VR中,可能不会有任何编辑,至少不是在电影中熟悉的镜头。但是使用游戏引擎,通过动态调整我们的动作,我们可以实现同样的目标。

在这个项目的早期,我们的声音设计师和作曲家Keith Sjoquist特向我们展示了构建整个体验的想法,不是基于几分钟和几秒钟,而是基于音乐计时。我们选择了一段现有的音乐,贝多芬的第7号交响曲,第二乐章,并从现在的音乐( CurrentMusic)中获得了管弦乐的录音,他们都很容易工作,而且负担得起。Keith使用FMODPro ToolsAdobe Audition来修改录音,这样它就能在一个特定的序列中无缝地循环,然后他注意到音乐中时间的签名变化。Stuart Cunningham是我们的技术和环境艺术家,也是我们的程序员之一,他在Unreal(虚幻游戏引擎)编写了一个节拍器,开始播放音乐,并记录了那些时间签名的变化。这个metronome函数然后将一个事件广播到每一个游戏逻辑可以引用和同步的事件。

我们可以将所有游戏活动与下一个节拍或tock联系起来,这意味着在某种程度上是奇数或偶数。我们也可以用节拍来插入暂停,而不是用秒。随着音乐时间的变化,节拍器的节奏随之改变。

所有这一切都意味着我们的游戏逻辑在节拍上持续地触发。如果有多个事件在节拍器上排队,他们将在下一次的节拍上同时触发,即使它们被稍微分开。由于我们的音乐循环和运行时间是可变的,任何给定的场景都有可能出现在给定的run-through的不同时间签名中,但是所有的内容仍然保持统一。

这种方法建立了一个与音乐联系紧密的基本节奏。即使音乐减弱或静音,节拍器仍然保持节拍并根据需要调整时间签名。当音乐不静音时候,它仍然与节拍器同步,所有的东西继续在一起工作。

使用音频来引起注意

有时我们不仅仅是对用户的注意力作出反应,而是积极鼓励他们去其他地方。正如第一部分所讨论的,我们有一个场景,一只黑狼穿过天井,然后坐下来等待。狼会继续坐在那里,直到观众把目光移开,这时我们用恶魔来代替狼。为了鼓励观众把目光投向别处,我们在另一个场景中播放一种超自然的敲击声音。如果观众仍然不听,我们时不时地重复一遍这声音,直到他们知道。如果最终他们不去看,我们最终会继续推进这个故事,并以视觉效果掩盖角色的过渡。但在我们的经验测试中,在SXSW的数百名与会者中,他们几乎总是看向声音。

在项目的某一时刻,我们坐下来,列了一张让你看的声音列表人的声音在列表上是最重要的,但它也包括:刺耳的声音(如敲门),非线性的声音(像尖叫),以及不合适的声音(比如在花园里的摩托车)

使用注意力来驱动音频

 Séance的预览版中,我们有一个落地钟,它的滴答声总是可以听到的。滴答声与节拍器保持一致,因此随着音乐的时间特征,它实际上会更快或更慢。

此外,Keith对音频进行了特殊的影响。这需要FMOD实现,因为FMOD虚幻引擎的集成提供了对观众耳机旋转角度的持续感知。这意味着Keith总是知道观众在看什么角度,而且可以在我们的音乐和音频中动态地使用这个值。

当你看落地钟的时候,Keith设计了滴答声来改变。它们获得音量和混响。这种声音设计技术也会随着观众的头部的角度进行拉线,所以当时钟进入画面时,它开始混入普通的滴答声中,当你把头转到时钟上时,它会变得更加强烈。当你移开视线的时候,混合物会再次向下延伸到正常的声音效果。

空间音频和移动发射器

我们使用了UnrealOculusSpatializer插件来帮助我们的音频声音相对于耳机有更多的位置,但是Keith还在场景中使用移动的声音发射器来增强体验。

空间化和HRTF

Oculus Spatializer插件是众多新推出的软件工具之一,它试图复制人类大脑和耳朵在现实生活中的工作方式,以识别任何给定声音的方向和位置。概括地说人的头部的形状以及颅骨反射或吸收的不同频率,颅骨内的混响以及到达一个耳朵之前的声音之间的时间偏移是复杂声学数据集的一部分,大脑解码,呈现听众对声音的位置和方向及其环境的本能理解。这种声学现象被称为HRTF,它与头部相关的传递函数,已经被研究了相当长一段时间,但虚拟现实技术在利用它的新应用中产生了激增。关于我们如何听到和我们如何解释我们听到的东西的心理声学科学,还有更多关于声学科学的东西。Keith着重推荐OculuswhitepapersSethHorowitz的优秀著作TheUniversal Sense: How Hearing Shapes The Mind 

在不同的时间里,我们会在远处触发一道闪电,伴随着雷声。闪电和雷声分别与我们的节拍器同步,所以闪电就会在下一个节拍中闪过,然后我们就可以在播放前把闪电延迟到X拍上面,这样会让闪电产生更接近或着更远的印象。

但是,当雷发挥作用时,它就会和一个穿越整个场景的发射器起作用。雷声的最初碰撞在远处,但随后的低沉的隆隆声从左向右穿过,模仿在广阔风景中前行的声音的感觉。

Keith还用移动发射器来做一些超自然的环境音频。他和Stuart建立了一组发射器,在头顶上旋转。他们的旋转速度可以由游戏逻辑来驱动。结果是在我们最紧张的时刻,在头顶上发生了一场令人毛骨悚然的声音。这只有通过虚拟现实的强烈空间音频功能才能真正实现。

通过纯粹的声音设计,让这些声音本身激起听众的不安或不安的感觉。我们通过实验发现,我们可以创造一种令人不安的感觉,尽管音频内容仅仅是加速旋转到一个极端程度。在不合理的高速度下,我们甚至可以让听者感到恶心,纯粹通过移动音频的使用,不需要任何视觉或摄像的动作,我们的挑战是找到了旋转速度和音频内容的完美结合来传递我们所瞄准的情感影响。

空间化音乐

在我们的第一个VR项目,The Impossible TravelAgencyKeith为我们的万圣节版本创造了一个非凡的音乐体验。我们发现了the original orchestral sheet music to Rachmaninoff's symphonyIsle of the DeadKeith将其部分转录成MIDI编辑器。然后,他使用各种数字乐器制作了自己的安排,其中一些是音乐的,其中一些是 the Geosonics sound library中的声音设计元素。一旦他创造了自己的安排,他就会分别输出每一种乐器。这样我们就可以在场景中给他们自己的发射器。例如,这使得竖琴可以从你头顶的天空中弹起,而低音鼓则在地下,而其他乐器则分散在整个场景中,就像管弦乐队的演奏者所处的位置一样。结果是惊人的:在虚拟现实中,一个真正的空间管弦乐队表演。

房间反光和四声声效果

为了进一步利用这种空间化的优势,Keith利用了一组由约克电子系电子学院的达米安·墨菲(Damian Murphy)和西蒙·雪莱(Simon Shelley)开发的一组声学脉冲响应,并根据知识共享许可证发布。这些基本上是用来模拟不同环境的声学特性的数据集,提供了适合于FMOD可以用来修改实时音频回放的精确定制的反射剖面。Keith将这些描述为音频快照或环境照片。

多年来,这种动态声学资料一直被用于线性媒体和电子游戏中,通过所谓的卷积反向运算( convolution reverbs)。AudioEaseAltiverb插件可能是这个工具最全面的例子之一。在虚拟现实中,当这些配置文件与spatializer插件定义和建模的空间反射相结合时,它们比以往任何时候都更加强大。通过从场景到场景的调整,Keith可以用一个精细的控制和情感深度来塑造音频体验。

为了进一步增强经验,Keith创建了预处理四重奏版本的关键音效。他从最基本的立体视觉开始,创造了作为前左右通道的效果,然后在后面的频道中建立了他们的混响版本。然后我们把这些放在虚拟的位置上,就像四个分散的发射器戴在观众的头上一样,这样那些重要的时刻就会有真正意义上的空间回响,直接在Keith的控制下。

结论

我们花了大量的时间和精力在音响和音乐设计上,以提供一种感觉像是电影的体验,使用视频游戏的动态音频技术。其结果是丰富而有益的音频体验,具有响应性、流畅性和情感影响。

在本系列的下一部分中,我们将讨论在Séance中使用角色,包括性能捕获、角色头部跟踪和避免恐怖谷。

99VR视界二维码
热门推荐
Hot Recommended
在线客服