Media and Entertainment Industry Reporter
中影基地“AI+电影”初探
丰富电影类型提高制作效率
“未来,影视创作者应用人工智能(以下简称AI),可将以往难以实现的想象变为现实,同时改变创作过程中的沟通方式,将原本剧本和拍摄计划等文字内容转化成影像,加速创作制作效率。”国家中影数字制作基地(以下简称中影基地)副总经理马平在刚刚结束的2019年北京国际电影节“电影科技国际论坛”上展望AI技术对电影创作的积极作用。
产学研结合重在应用
在电影科技国际论坛上,马平还展示了AI应用于影视制作的新技术——“中影·神思” AI系统(以
下简称“神思”系统)。从标清画质增强到4K画质、老电影修复上色、复制电影调色、去除威压、提升帧速率(每秒显示的静止帧格
数)等工作,通常需要后期制作人员花费大量时间处理。这些工作并不需要高深技术,“”应用 神思 系统可减少70%人工工作量,大大提升后期制作速度。
这套系统由中国科技大学技术团队开发,中影基地提供AI在电影行业的应用思路,历经几十万段视频、几百万张图片训练,于2017年正式应用于电影《厉害了,我的国》。由于该片原始影像素材仅达到标清,电影放映需要2K清晰度,因此需要借助该系统对视频进行图像增强处理。利用AI技术,“神思”系统每天可处理上万帧,甚至百万帧图像,相较传统人工每人一周处理一帧的速度,“神思”系统的工作效率可提高百万倍。马平介绍,在国内外已公开发表的文献和专利中,尚未见到能达到“神思”系统技术水准的产品化应用系统。
此外,“神思”系统还研发了表情编辑功能, AI可根据剧情调整所有演员的面部表情,让群众演员呆愣的面部表情灵动起来,大大提升了全员“演技”。马平表示该功能对信息个性化处理要求较强,当前还未达到完全自动化,也不具备通用性,需要一定的人工干预,技术尚处于实验室阶段。“等技术稳定、产品化后,表情编辑就能达到像AI处理图像一样高度智能化。”马平告诉《综艺报》,像“神思”系统这样由影视公司和科研机构合作的案例,目前在国内还比较鲜见,但这种产学研结合的模式在好莱坞很成熟。“麻省理工学院、加州大学等高校与好莱坞制片公司长期在电影技术领域合作,很多大学教授还担任导演,科学研究、技术应用和电影业在好莱坞的结合更紧密。”
发力不同领域
2017年年底, Photoshop发布新版本,曾经复杂的抠图功能在AI的助力下简便易操作,用户只需点击鼠标,就能利用AI技术自动选择需要去掉的区域。除图片处理应用发力AI领域,、谷歌 英伟达、迪士尼、欧特克等国际巨头也纷纷斥巨资研发AI技术与影视制作的结合。国内外影视制作业均积极研发AI技术,但其侧重点并不相同。
国内如“”神思 系统等AI应用主要偏向于处理需花费大量时间的简单重复性工作,好莱坞AI技术研发更偏向于服务虚拟角色制作。马平举例道:“在最近上映的《复仇者联盟4:终局之战》,中 灭霸这一虚拟角色由真人扮演,特效师利用动态捕捉生成人物形象,再使用AI技术将表情表演数据进一步修正完善,虚拟角色也能令人信服。这个修正过程难度高、数据量大,以往动画师只能借助传统CG制作技术花费大量时间完成,现在利用AI技术,这一制作过程更简洁,效果更完美。”
除发力领域存在差异,中影基地与好莱坞影视公司的AI应用初衷也不尽相同。马平介绍,“神思”系统具备的功能要求能自动适用大部分应用场景,产品具备通用性,而好莱坞研发的相关产品通常源于某一部电影制作需要,“一旦这项技术开发成功,后续作品也会重复应用并不断升级。”
马平表示虽然中外影视业积极拓展AI技术应用,但包括三维建模自动生成、场景自动处理、表情编辑、文学剧本视觉化自动生成等技术大多还停留在实验室应用阶段,尚未研发出可适配庞杂情况的通用产品。“目前的AI技术更容易处理结构性、规格化数据,在处理个性化数据方面还较为困难。”
个性化制作有望实现
创作者输入一段文字, AI自动生成画面这一设想当下虽然还不能实现,但这项技术并非异想天开。
马平表示, AI系统未来能研发出根据文学剧本自动生成预览视频的功能。“文学剧本可视化过程中虽然有大量创造性因素,但所有重复性、模式化的部分都可以通过AI完成。当AI系统配套一个足够丰富的数字资产库(包括大量场景素材、人物形象素材
等)后, AI便可通过文学描述,帮助创作者搭建模型,之后再根据机位运动调整细节。《像 流浪地球》中一些特别复杂的场景,导演、制片人等主创人员就可以根据预览视频筹备拍摄方案。
“这可以对整个项目开发筹备提供非常有力的判断依据。”
目前,文学剧本可视化工作还需创作人员通过虚拟拍摄、实地勘景、CG绘制等复杂过程来完成。马平介绍,这种常见的传统制作模式通常需要1—3个月时间。马平根据当前技术发展水平预测,研发文学剧本可视化AI系统并推向市场,大约还需五到十年时间。
“国产片中类似好莱坞大片体量的影片还比较少,对AI这类尖端技术的需求也比较少。但随着中国电影产业由大变强、作品类型更丰富,技术自然会跟上制作需求, AI技术也会反向激发创作人员的想象力。在不远的未来, AI技术或将具备自主思维能力,识别、处理复杂及个性化的影视作品。”马平总结道。
相较传统人工每人一周处理一帧的速度,‘神思’系统的工作效率可提高百万倍。