VR开发教程 VR/AR虚拟角色实时动画口型如何制作?

Ian Failes 2017-10-12 16:42:00

原标题:A Deep Learning Approach for Generalized Speech Animation

原文链接:http://ttic.uchicago.edu/~taehwan/taylor_etal_siggraph2017.pdf

演示视频:https://www.youtube.com/watch?v=lYTTpazRttc

【摘要】

口型动画一直是动画制作中的难题,也是VR/AR虚拟角色实时动画中的难题。本文首先将输入的音频分解为互相有重叠的音素,然后利用slide window的技术结合深度神经网络预测中性角色口部动画的参数,在做动画迁移时,只需做一次录制角色和目标角色骨骼之间的对应关系即可。

456

【问题】

- 动画师手动key动画比较耗时,不同的语言需要制作不同的口型动画;

- 面部动作捕捉(需要marker点或者用颜色标记),对设备和光线要求比较高,而且在后期需要动画师修改调整。

【解决方法】

作者发现常用的LSTM或RNN网络更易产生偏差,需要更大量的数据才能获得较好的效果,所以选择了slide window的方法。

【结果分析】

优势:

只要使用声音和角色面部视频(可以将无marker的视频用计算机视觉的方法变为marker的),比较容易训练出虚拟角色的口部动画,而且可以做到实时的匹配。

不足:

1)口部的动画控制还是有些简单,用于真人动画可能会存在问题;

2)训练得到的中性角色上的口部动画,还需要做好迁移才能将动画保真的迁移到其他卡通角色上;

3)训练数据使用的是不带感情的面部数据,如何训练带感情的口部动画,是下一步的工作。

【应用落地】

用于实时的、简单的虚拟卡通角色的口部动画。

99VR视界二维码
热门推荐
Hot Recommended
在线客服