产品
  • 产品
  • 文章
搜索

影视动画、虚拟现实整体解决方案供应商

OptiTrack动捕 中国授权代理商





全国统一服务热线:


186-0005-0633

           


新闻列表

首页 >> 新闻资讯 >>行业新闻 >> xR制作开启展演技术新时代
详细内容

xR制作开启展演技术新时代

说到VR(Virtual Reality/虚拟现实),很多人并不陌生,它因虚拟现实游戏而广为人知。但其实除了VR,在这个新技术层出不穷的时代,其实还诞生了AR(Augmented Reality/增强现实)和MR(Mediated Reality/混合实境)技术。而近年新兴的xR,则是指所有由计算机技术和穿戴设备配合生成的虚实结合的环境,也是当今舞台上艺术呈现方式的新标准。

xR(全称Extended Reality)扩展现实,这里的“x”既代表了“extended(扩展,又作Xtended)”,又代表了未知变量 (x) 。[1]  VR、AR、MR三者视觉交互技术相融合,帮助实现了虚拟世界与现实世界之间无缝转换的沉浸感体验。[1] 《环球科学》2020年11月12日刊



0

1


喝了这杯《mojito》

2021年央视春晚中,周杰伦为全国观众带来最新最火单曲《mojito》,一起带来的,还有舞台上浓浓哈瓦那风情、神奇变换的奇异世界。

低肌理、大色块的拼接和二维手绘动画的加持,让整体背景风格看上去明快、鲜艳、活泼,同时也为画面的实时渲染打好了“底色”。xR舞台通过使用相关技术让表演者置身于虚实结合的场景中,在三维空间内,既有前景,也有后景,在第三视角看来,表演者可以在这个三维空间内自由自在地穿梭、游走。

微信截图_20210324140336.png

由于疫情原因,周杰伦无法现身春晚现场,所以其实该节目使用到的xR制作技术,主要依仗了电影工业流程中常用的Motion Control System(高科技交互式摄影控制系统*),可将拍摄中机器人摄影师的运动轨迹从北京拍完后发送给台湾制作团队进行表演拍摄,最终在北京实现所有素材的合成和美化。


*简称MoCo系统,可以同时同步控制摄影机、拍摄物、灯光等运动动线及拍摄底片速度的交互式摄影控制系统(星球大战特效总监John Dykstra对MoCo所定义)。  ——百度百科


微信图片_20210324140442.gif

台北GETOP 特效摄影棚排演

Credit: WORLDSHOW传媒

xR制作技术让许多创意想法与艺术灵感能够充分在舞台上实时呈现出来,舞台策划在艺术层面变得更加肆意和大胆。


0

2


技术浅析


在实际应用领域,xR指的是由LED屏幕、摄像机跟踪系统和强大的图形引擎组成的工作流程。

《mojito》这个节目是由Motion Control技术为主导、结合xR扩展现实及实时渲染技术而实现的,极具挑战性,但最终艺术成果令人耳目一新。绿幕抠像+影视后期的方式虽可以呈现表演者异地表演,但需要提前录制、后期抠像合成,并使用如C4D/MAYA/3DMAX等软件进行渲染。不过,如果需要摄像机摇臂按照舞台设计运动起来,并得到实时的运动反馈,则需用到近几年影视制作行业大热的虚拟制作技术(Virtual Production)。


1616565969870389.png

Credit: Mels Studios et Postproduction

虚拟制作中,LED屏幕可实现大部分背景显示,通过合理的显示设备分配,技术人员能在有限的空间内搭建出沉浸式场景。通过虚拟制作技术呈现出的作品由于使用了运动捕捉技术进行摄像机追踪,整套光学运动捕捉系统可以通过实时摄像机的空间定位,在电脑中呈现出相应运动轨迹,虚拟内容才能够根据摄像机的位置而时刻变化,摄像机位置所拍摄的实体(真人或实物)与三维背景画面也才能呈现出正确的空间位置关系。


1616566013649206.png

Credit: hecoos


为了帮助实时渲染引擎理解摄像机的位置,光学运动捕捉追踪设备还能够使用特定的协议传输摄像机的空间位置信息及相关镜头参数,通过实时数据让渲染引擎实现色彩、明暗等方面视觉感受合理的画面渲染效果。最终通过透视投射装置,将制作好的实时渲染画面投射到实体周围,再叠加另一个实时渲染的前景,方可毫无违和感地与真人/实物结合,呈现出观众眼中更加符合认知的前、中、后画面关系。整体画面自然逼真、有沉浸感,同时空间视觉感受也更加合理。


1616566036123604.png

Credit: hecoos


在虚拟制作中,由于需要实现实时渲染,渲染引擎也需更换为更加强大的渲染引擎(如NOTCH、UE4等),才有可能最终实现有限时间内大量的视频画面渲染,达到实时渲染的目的,适应时刻变化的摄像机位置。



微信图片_20210324140738.gif

Credit: Tigrelab

简单来说,使用到虚拟制作技术的xR制作流程需要使用到的最主要系统分别为摄像机追踪系统(光学运动捕捉系统)、实时渲染系统(实时渲染引擎)和显示系统(LED/投影机)。在整个工作流中,媒体服务器负责将数据信息进行收发、解包、修整、对齐,该过程可以让摄像机在正确的时间点拍到正确的画面,呈现出观众看到的最终成效。[3]


[3] bilibili.com @hecoos全域创作

0

3


多样应用


同样使用了xR制作技术的还有美国热门剧集《黑袍纠察队》的幕后揭秘节目《走进黑袍纠察队(Inside The Boys)》(搭建了xR演播厅)、Kate Perry在美国偶像中演唱《Daisies》的精彩表演、《Jax Jones x Miller Genuine Draft》线上音乐会,以及西班牙商业广告《Pienso, luego actúo》[4]  等等。


[4] 信息来源:disguise中国

微信图片_20210324140822.gif

《走进黑袍纠察队(Inside The Boys)》xR演播厅

Credit: Tigrelab



xR制作过程中,创意人员和技术人员仍会在极尽可能发挥创意的同时,触及xR和虚拟制作技术的边界。但是我们相信,在科技不断发展的今天,业界人员的不断挖掘探索将会推动xR制作展演技术实现更多突破,为大家带来更丰富、更丰满、与艺术结合更加紧密的极致视觉体验。