VR电影中如何设计存在角色?

Ian Failes 2017-07-13 15:37:34

原标题:VR电影中如何设计存在角色?

在创建我们新的虚拟现实项目 Séance:The Unquiet,我们开始在虚拟现实中设计电影故事,使用虚拟现实媒介最好的优势,以提供近似看电影的体验。

一百多年来,电影制片人一直在精心制作每一个镜头(从框架和构图到灯光和景深),来告诉观众,每一部电影的技术都被用来更好地指导屏幕上重要的元素。

我们用 Séance所做的是完全相反的,我们已经动态地精心制作了每一个场景,以了解观众的选择。这是电影故事的基本演变,需要有视频游戏开发的专门技术才能实现。(在我们的例子中,我们使用的是虚幻游戏引擎)落地大座钟听起来不一样,当你看到一个错综复杂的渐强的音乐和声音的设计,随着脑袋的角度,你转身发现一个鬼在你后面,Séance塑造它的经验到观众的目光。其结果是一种新型的媒体叙事方式。

在这一系列的博客文章中,我将总结这些以及我们在我们的项目中所开发和利用的电影故事技巧。如果你想看到他们中的一些运作,我们已经为Oculus RiftHTC Vive发布了一个5分钟的免费预览( we havereleased a free five-minute preview of Séance)。

 

第三部分人物的存在

简单地说,角色的存在就是你与另一个人共享空间,至少是一个人性的感觉。当使用你的经验中的人物时,这是在VR中创建强大的沉浸的关键部分。当我们开始这个项目的时候,我们看了很多虚拟现实的Demo,其中包含了一些角色,如 CoffeeWithout Words,并得出结论,这是我们必须做的。因此,我们对VR中的角色存在的创造和使用进行了有意义的投入,因为我们认为这是VR电影故事唯一最重要的方面。

任何叙述性的观众都需要在情感上与角色保持联系,而虚拟现实的身临其境的本质是在较低层次的产品质量执行角色这尤其难以置信。有些虚拟现实游戏,在观看动画角色试图表现的时候会很有趣,令人印象深刻。

我们在早期就做了一些选择,我们相信在创造角色存在方面取得成效,风格化艺术方向

、动作捕捉、角色头部追踪和邻近度。

风格化艺术方向

在视频游戏和电影制作中,人们非常清楚地认识到,对光的追求,已经直接进入恐怖谷( the uncanny valley)。渲染皮肤、头发、衣服和眼睛的进步都是令人印象深刻的,但要做出可信的逼真的形象仍然是非常困难的,特别是在电子游戏中,我们使用的是实时渲染引擎,不能达到像皮克斯电影那样的先渲染CGI的质量。

由于两个原因,这个问题在虚拟现实中变得更糟。性能限制阻止我们使用我们最好的照明和阴影技术,并且在VR屏幕上看到一个动画角色真的暴露了我们习惯于在电子游戏中使用的质量限制。例如在中档视频游戏中的动画角色在你的显示器或电视机上看起来不错,但在VR中站在你身边的同一个角色看起来像是一个可怕的粗糙的木偶,并不是一个精致的角色。

通过对我们的角色采取稍微风格化的外观来回避这个问题。我们的角色艺术家查理·贝克(CharlieBaker)的主要灵感之一就是Steam上的Dishonored 游戏。他们的做法产生了具有视觉个性的角色,可以提供戏剧表演,同时仍然具有风格化的外观。

我们的Séance预览中看到的主角是Iain Munro上校,是这个想法的结果:

image002.1499136028

我们的做法是非常严格的,Munro可以传达情感,成为一个可信的角色,看起来风格化足够甚至是在VR中,没有恐怖谷理论出现。

动作捕捉

人物的艺术方向只能到目前为止。VR中的角色的另一个挑战是动画,我们的解决方案是运动捕捉。我们采用这种方法有两个主要原因。

第一,我们只需要大量的动画去做电影故事。有四个角色,每个预计运行时间约为二十分钟,大约是80分钟的动画。我们唯一能做到这一点的方法就是用动作捕捉来实现预算。

另一个原因是我们想要的是可靠的人体运动细节,即使你在虚拟现实中身临其境,mocap也可以提供可靠的人机运动细节。我们可以提供传达情感的真实面部表情。即使一个人在站立时移动体重的微妙动作也被准确地捕捉到,并且对VR中的观众来说是显而易见的。

毫无疑问,一个技术精湛的动画制作团队可以做到这一点。但是对于一个小团队来说,动作捕捉是一种方法。

对于Séance,我们使用了Optitrack的一个身体运动捕捉解决方案和Faceware的面部动作捕捉解决方案,以确保我们能够捕捉运动和表情的微妙之处。我们还为每个摄像头增加了无线传感器麦克风来记录对话。这个组合的解决方案使我们能够在舞台上同时拍摄四位演员,让演员一起演奏他们的场景,真正反映在一个电影中。当他们移动时,人们的表现会比静止不动。当和某人说话的时候,他们说话的时间不一样,只是说话的时候就是麦克风。这种组合使我们能够捕获更多的自然表演。

我们做了一个测试,如下所示。(各种各样的窗帘可以提高我们的录音质量。)请注意,我们使用带有网眼的PVC管制造支架,这样摄像头就可以通过它来记录坐在座位上的表演者的标记:

image003.1499136028

当我们需要一个完整的拍摄时,我们在我们的办公室设置一个更小的版本,同时适合一个或两个表演者。这个房间,我们称之为Holosuite,对补拍镜头和单角色拍摄非常棒。(例如,我们在这里拍摄了我们的恶魔角色的动作捕捉。)我们的声音设计师基思·斯约奎斯特(KeithSjoquist)也对房间进行了声学处理,使其成为录音对话的声音展台,如下所示:

image004.1499136028

显示器连接到我们的技术动画师Douglas Connors的计算机,Douglas Connors设计并组装了我们的整个运动捕捉解决方案。运动捕捉套装和面具头盔与服装和化妆相差甚远。Motion BuilderOptiTrack共同合作,在HoloSuite的监控器上提供实时反馈,这是一个额外的好处。表演者可以在屏幕上看到自己的模型,这可以为他们创造一个美妙的方式来达到性格。我们也可以立即进行调整,以更好地将身体动作与角色动作对齐。

动画绑定

搭配运动捕捉动画的角色是一项复杂的任务。我们与印度钦奈的 CentaurDigital公司合作,以巩固我们的角色,因为他们的团队拥有良好的经验。结果是一个绑定93个关节在脸上和82在身体。我们最初担心这样的绑定在虚幻中的表现如何,但即使在VR中的屏幕上有多个角色,它也能顺利运行。

image005.1494297171

我们的控制UIMaya面部动画

image006.1499136028

脸部和脸部追踪图的个人联合控制

加工和装配

我们角色中的大部分动画是通过玛雅(Maya)处理的。它有效地充当了我们的中心,因为每个动画最终连接在那里。对于我们的身体运动捕捉,动画主要在Motion Builder中处理,然后导出到玛雅(Maya)。面部运动捕捉也在玛雅(Maya)处理,尽管在一个独立的装配上,这使我们能够在静态身体上激活脸部。最后,身体和脸部动画组成最后的片段,然后被发送到虚幻引擎中。说这是一个复杂的过程。

当我们记录演员的面部表情时,我们使用了Faceware的跟踪程序。他们明确表示,他们的软件不需要在表演者的脸上进行标记。我们使用他们。这些标记不是用于软件的,它们是为需要调整面部动画来实现预期性能的用户而存在的。它保持一致性,特别是在没有很多参考点的地方,比如脸颊。

Faceware是一个相当强大的程序,它不会因为我们提供的大量数据而退缩。动画面是一个棘手的事情。你越接近真实的人类运动,你就越接近恐怖谷。这个技巧似乎能使动画效果变得更流畅,而不是让人毛骨悚然。

传统动画

虽然运动捕捉是我们的主要解决方案,但它并不是唯一的解决方案。一些关键角色时刻是由我们的主角动画师Travis Howe从头开始创建的。Travis制作了我们的鬼魂动画,还处理了我们的主角的身体运动,当坐在桌子上,手和手指的手势是特别棘手的。对于那个场景,Travis制作身体动画,而我们使用Faceware系统来捕捉面部表情和嘴唇同步。

我们也为动画师制作动画!对于我们在一个窗外短暂出现的恶魔角色,Travis扮演并执行运动捕捉的角色。Travis是一位辉煌的角色动画师,他能够为这个难忘的角色提供强大的身体素质。

角色头部跟踪

在本系列的第一部分中,我简要介绍了如何开发一个功能,使动画人物在适当的时候直接看着观众。以下是我们如何实现这一点的更多细节。

这个功能的困难部分是在一个更长的动画中成功地完成它。如果我们有一个10秒钟的动画,我们希望角色在0306秒之间看观众,我们必须修改动画,以达到效果。

我们的第一次尝试是使用aim-blend动画来让角色的头部面对观众。我们为头部和眼睛所接受的极端运动创造了一组关键帧,然后在实际动画和与观众角度相关的关键帧之间进行混合。不幸的是,这使得角色在动画播放时以奇怪的角度倾斜头部。问题是,在虚幻引擎中这个角色的根就被动画所移动的网格所抵消。当试图将关键帧混合到动画时,根和网格之间的偏移会导致错误的行为。结果既无法使用,也令人不安。(因为我们发布了预览版,我们相信我们已经找到了一种弥补这种偏移的方法,所以根和动画网格保持一致。我们对这一解决方案的调查仍在进行中。

程序员迈克尔·罗宾斯(MichaelRobbins)决定更直接地解决这个问题,通过手动重写骨骼与骨骼位置。在这个角色的更新中,如果启用了头部跟踪,Michael的代码将决定头部和眼睛的位置,这要感谢他添加到骨骼中的三个套接字。然后,他的代码发现了听众的头戴式耳机的位置,并计算出头部和眼睛的距离。最后,他通过一个插值函数来运行这些值,并将这些值存储为每个眼睛和头部的所需pitchyaw增量。

在动画更新过程中,需要读出所需的值,并将增量应用到每根骨骼上。因为我们是在插入三角函数,所以当这个角色从跟随动画到跟踪观众和返回时,会有一个平稳的过渡。这一功能允许动画制作者在他们的动画蓝图中添加事件,从而使玩家在游戏中进行动态跟踪,而不必修改动画本身。

以下是迈克尔虚幻引擎蓝图中用于头部跟踪的示例。这个片段控制着右眼。点击放大:

image007.1499136028

我们的头部跟踪解决方案只能在相当狭窄的范围内工作。如果Séance是一个室内VR项目,我们的角色不能合理地遵循所有可能的观众位置。虽然我们不会在这个项目中进行室内设计,但我们预计,使用IK系统来支持头部跟踪中的上身运动将大大有助于使该功能更加健壮。

接近

简单地说,我们的角色看起来最好。最初,我们打算Munro角色从我们的Séance预览发生的大厅的远端进入门厅。他要走在拐角处,发出戏剧的独白,然后穿过房间,直到他到达观众坐在桌子旁边。在一部电影中,你可以很容易地做到这一点,从设定的镜头开始,以显示角色的进入,然后再一次接近更好地展现他的表演。

当然,在VR中,我们不会放大相机或切割到不同的镜头导致很多人的恶心和不适,而把相机放大或缩小。当我们的角色离我们很远的时候,他的整个脸在VR头盔上的小屏幕上只有几个像素高。表现的影响完全丧失。

我们一直把Munro 靠近,直到我们找到一个很好的距离来介绍他,足够紧密,你可以真正地读他的脸和他的肢体语言,但足够远,他的入口可以是一个惊喜,他可以使用他的全身沟通。

接着,我们把他放在桌子旁另一个场景的座位上。我们开始这个场景时,他会在观众的视线中向观众倾斜,因为我们发现它对观众产生了有趣的影响。人们稍微向后倾斜,有时甚至会被吓到,因为这个角色几乎侵入了他们的个人空间。这是一种令人着迷的本能反应,我们认为用它来营造这种角色存在是值得的。当你在虚拟现实中做一些能产生生理或情感反应的事情时,你应该仔细地考虑,如果它不太令人讨厌的话,它可以很有用,它可以使观众在虚拟的身体中,帮助他们与角色建立联系。

看到它工作

我们已经为Séance预览版测试了数百人。我们知道我们对人物形象的投入是有回报的,那就是他们对你对面桌子上的Munro 第二幕的反应。在现实生活中,听众经常会像别人和别人说话一样反映自己的身体姿势。当他做手势时,他们朝那个方向看。这些对动画人物的自然反应是我们知道这是有效的。

99VR视界二维码
热门推荐
Hot Recommended
在线客服