《飞向月球》(第二季)制作中应用了AI数字人物技术,这个技术是怎么实现的?
往常的节目,一般都是根据项目先进行技术梳理,然后搭建,之后才开始制作。第二季是与之前不同,是科研先行,先进行了预演。
这个片子在2020年11月正式开始制作拍摄,但是研发早在2019年底就开始进行了,其中最具代表性的就是AI数字人物。这是一个高仿真的精品数字人物,而非是普通用于娱乐、直播带货的数字人物。
AI数字人物创作的意义是为了践行央视“5G+4K/8K+AI”总体技术战略。我们认为AI落地,视效先行,基于此打造了一个全球首创AI超写实数字人物,应用在这个4K科学纪录片当中。
我们从2019年底开始进行技术储备,先做了一个POC,也就是概念性验证,认为具有可行性,接着进行了相关算法的研究和储备。成形之后,从2020年的9月开始实施,到2021年完成。
我们从研发到最后实施的主要分成几个阶段:第一阶段是测量摄影。就是通过相机阵列,对AI数字人物扫描。拍摄扫描的人物不是单纯的采样,而是有皮肤质感的、包含各种多维度信息的一个采集。第二阶段是对整个神经网络的学习。
这部分是AI处理的主体。先进行的是数据集的构建,也就是对人物的一个数据采样。我们通过几次采了10多个小时的数据,之后对这些原始数据进行特征抽取和交预处理,预处理之后形成一个数据集。
之后进行建模,这是一个数学建模,并非三维模型建模。数学建模就是对特征进行构建,即我们要如何采集什么样的特征,能够支持我们之后的现场拍摄应用。
数学建模之后利用算法进行代码的实现,最终把这些都完成以后开始训练,利用数据集和算法,体现这个数学建模,进行推定。训练好以后进行调优。调优后形成了一套参数集,放进Ross Video Voyager虚拟演播室系统系统运行,在这个系统之上进行研发。这属于高定制化的研发,最后完成整个数字人物的逻辑,最终呈现给大家。
神经网络阶段进行了1年多才完成,直到2021年2~3月份左右才开始进行现场拍摄,将这个数字人物进行了实时的驱动。驱动下来以后,进行现场数据的收集、后期分析和制作。如果细分创作流程,可以分为测量摄影、资产处理、逻辑、神经网络、技术美术或现场拍摄这么几部分。AI数字人物与以往的主要区别在于:突破了创作物理空间的限制。在《飞向月球》(第二季)里能看到很多的镜头好似在一个大场景中拍摄的。其实是在一个150平米、实际可用范围只有100平米的空间内进行的拍摄。100平米可以衍生出几千平米级别调度的模式,赋予了深化创作的更多维度。以前这种实体拍摄受限于很多东西,比如演员、道具、场地等。如今可以有各种各样不同维度的拍摄,大幅提升了整个节目的效果质量。