VR演播室

2016516103116986080_600_0

什么是VR演播室

1、 概述

虚拟演播室技术实际上可以说就是增强现实技术的一个子集。不过,增强现实是要让最后的画面呈现在用户的眼睛里,而VR演播室则是将画面呈现在电视的屏幕上。

虚拟演播室技术实际上可以说就是增强现实技术的一个子集。它同样涉及到增强现实中如何将虚拟的元素和真实的场景叠加在一起的问题。不过,增强现实是要让最后的画面呈现在用户的眼睛里,而虚拟演播室则是将画面呈现在电视的屏幕上。

 


 

2、 技术特点

 

第一是如何能够精确地定位真实的场景;

第二是如何能够渲染出虚拟的元素;

第三是如何实时地将虚拟的元素叠加在真实的场景上,然后返回到视频流中。

在这里,最难的是如何将虚拟元素和真实的元素进行叠加。

摄像机一旦运动,真实的场景和虚拟的元素都必须同步配合这个运动。电视摄像的帧率是50FPS,也就是说,引擎需要每20ms就渲染出一帧,这是一个相当高的要求。所以,系统内就应该要包括摄像头的工作状态,包括位置和视角等等,虚拟引擎才能够渲染出相对应的画面。

虚拟演播室的定义

首先VR演播室它事实上源于一个现实中已然到处存在的视频制作技术——虚拟演播室(Virtual Studio System,简称VSS)。【1】

这一技术的本质是将计算机制作的虚拟场景(通常是三维场景)与现场拍摄的实时活动画面进行叠加,并且确保两幅画面的运动与透视关系完全一致,从而自然和迅速地得到了虚实结合的画面效果。在这类应用当中,通常会采取前景和主持人为真实拍摄,而千变万化的背景通过计算机实时演算生成的结合手段,并将叠加完成的效果传递到电视信号。

很显然主持人并不是真的站在这么一个抽象数字和图形组成的空间里。要随着我国的GDP突飞猛进而经常更新直播间的室内装潢,这也远不如在计算机上动动手指来得有效率。所以,实际的拍摄场地往往可能是这样的布置。


 

3、 系统组成

2016516103115320320_600_0

第一步的工作是采集摄像机的工作状态信息,最重要的是摄像机的位置和它与真实场景的相对关系;然后将这些信息传送给图形工作站。

第二步则是依此得到前景物体与摄像机之间的距离和相对位置,从而计算出虚拟元素的大小、位置,并渲染生成虚拟元素。

如果虚拟元素涉及到虚拟人物(比如世界杯节目里的虚拟球员,或者春晚上的阳阳),则往往还要涉及到动作捕捉系统:用真人的动作实时的驱动虚拟角色的动作,然后呈现出来。

第三步,虚拟演播室系统会将主持人的实时画面地与计算机产生的虚拟元素集成在一起,构成一个现实中不存在的场景,并且实时向观众进行广播。

一般而言,这里会采用我们在电影花絮中常见的绿幕来遮盖一切我们不想让它出现在最后画面中的场景元素,在专业中,这叫做“色键”。然后计算机会将相应的颜色全部抠掉,将虚拟场景集合上去,最后就呈现出我们这次会在阅兵直播中看到的,威武雄壮的导弹发射车出现在主持人的旁边。

 

虚拟演播室可以说是增强现实技术在商业上的应用,而且已经能够在商业直播中成熟运用了。【2】

zu

虚拟演播室是近些年发展起来的一种独特的电视节目制作技术。它的实质是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成,使人物与虚拟背景能够同步变化,从而实现两者天衣无缝的融合,以获得完美的合成画面。近几年随着网络直播的火热,能否低成本搭建虚拟演播室也成了人们所日益关注的话题。

在传统的节目制作过程中,演播室厅的搭建需要耗费及其高昂的成本。以全景网演播厅为例,从场地的搭建,到包括专业摄像机、灯光、导播台、音控台等硬件设备的采购,成本支出就达到了上千万,再加上其他人力成本以及时间成本的隐形支出,对于普通企业用户来说,想要拥有一套自己的线下演播室根本是无法承受之重。


 

4、 主要应用

 

随着技术的不断发展,目前在广播电视节目中应用的很多专业三维虚拟演播室系统,其核心技术已不是色键、3D场景或者摄像机跟踪,而是与时下大热的VR/AR相结合的虚拟植入技术。【3】

比如下面这款产品,就是把VR与虚拟演播室技术结合起来,在提供全景解决方案的基础上,还能提供定制服务,根据客户的需求植入一些虚拟画面,添加客户想要的元素。此款解决方案功能很强大,当然价格也不低,单单VR解决方案售价就高达几十万到百万不等。当然这款解决方案也支持4K。

a6e365218b4446c5af09f5b1af81f7eb_th

与传统虚拟演播室相比,VR全景虚拟演播室的特点在于互动性更强,甚至可以在一定程度上颠覆观众的观看体验。目前VR技术虽然很火,但是更多的应用于游戏等行业,用户粘性不高,或许将VR与虚拟演播室相结合,会成为VR真正走入寻常百姓家的一个有力切入点呢!

 


 

5、 未来展望

不过增强现实本身,还有很长一段路要走——因为消费者意义上的增强现实眼镜要解决很多虚拟演播室所没有的困难:

2016516103114007190_600_0

 

第一,虚拟演播室会是在一个有控制的场景中应用。

有专门的设备采集摄像机的位置和场景本身的位置,而增强现实眼镜则需要在大范围内应用,这就需要时下计算机视觉中非常火热的技术领域SLAM(Simultaneously Localization And Mapping,实时场景测量与建模)来帮助增强现实眼镜“看到”并且“理解”周围的环境。Google的Project Tango正是为了解决这个问题而开发的项目。

第二,移动的VR眼镜所可能具备的计算能力要远远小于虚拟演播室技术中的商业级别工作站。
所以其在高帧率下渲染虚拟元素的能力必然远远不如虚拟演播室,增强现实眼镜的虚拟画面必然不会像虚拟演播室那样丰富和逼真。

第三点是,增强现实眼镜的画面最终是要投射到用户的视网膜中。
所以想要符合人体的视觉系统特质,显示装置要具备的能力会大大不同于普通的屏幕:让人感觉到虚拟与现实的融合,显示屏需要与人眼球的焦点匹配显示虚拟元素的能力,目前只有微软的HoloLens让人信服地展示了这一种能力,而他们使用的是全息显示屏。

有趣的地方在于,在今年E3微软的发布会上,微软使用了虚拟演播室的技术展示了HoloLens最终可以达到的效果——可能这个发布会上也是虚拟演播室能达到的最好效果。微软同样使用了复杂的摄像机追踪技术,让观众信服的展示了HoloLens的增强现实。

 


 

6、 参考资料

1、如何用极客范儿打造一个HTC Vive虚拟演播室 网易[引用日期2016-03-10]

2、极限挑战:如何低成本实现网络直播虚拟演播室? 搜狐[引用日期2016-05-20]

3、电视新闻TV上那些吸睛的虚拟演播室 你知道吗 搜狐[引用日期2016-05-20]

99VR视界二维码

相关文章

    404 Not Found

    404 Not Found


    nginx
在线客服