Light field nights at the museum: The application of Virtual Reality technology / YU Jingyi
———虚拟现实技术的最新应用
0 引言
《博物馆奇妙夜》系列电影描绘了主人公与意外复活的博物馆藏品之间的各种有趣故事， 庞大凶猛的史前生物、强壮威武的古代战士、光怪陆离的传奇神兽等等， 从死气沉沉的物件变成了活灵活现的生命， 而这一切都来自于电影中一块具有魔力的法老黄金碑。这些只存在于影视作品中的场景，在不久的将来也许就会出现在每一座博物馆里， 呈现在每一个人的眼前，而能够产生这种神奇效果的“法老黄金碑”则是当下正在改变我们生活的虚拟现实技术。
博物馆为虚拟现实技术提供了展示平台。 各式各样的博物馆陈列着自然、历史、科技等不同领域的丰富藏品，虚拟现实技术能够将这些藏品活化，赋予冰冷的物件以生命力，增强博物馆本身的传播和教育功能。 例如大英博物馆推出的虚拟现实漫游活动，使远在天涯海角的人们也可以在网站上浏览博物馆，参与古人的祭祀仪式，探索古老的青铜文明。 美国达利博物馆开发的“达利梦境之旅”项目完美还原了艺术作品里的情景，让观众能够走入超现实主义大师所描
绘的世界，将艺术欣赏提升为身临其境的难忘体验。
如今，虚拟现实技术已经取得了长足的进步，并且广泛应用在博物馆行业， 但仍有不少难题使得虚拟现实尚未达到人们期待的效果。近年来，一种新兴的光场技术给虚拟现实领域的发展带来了新的动力，有助于解决虚拟现实中长期存在的各种问题。本文以光场虚拟现实技术在博物馆中的应用为例，介绍光场技术为虚拟现实博物馆带来的全新体验、理念及应用前景。
1 虚拟现实的发程展历
人工制造的虚拟环境，与这个虚拟环境进行交互，虚拟现实是一种存在于计算机和互联网环境中人们能够以接近自然的方式从而产生身临其境的沉浸感。 由于虚拟现实有着传统人机交互无法比拟的真实感， 使人们能够如同感知真实世界一般接触虚拟空间，为人类文化的传承和发展创造了新的可能，对教育培训、文化旅游、社交活动、电子商务、生物医学等领域都有深远的意义[1-3]。 光场虚拟现实技术在传统虚拟现实技术的基础上，结合计算机图形学、计
摘 要 博物馆是人类历史和智慧的浓缩与结晶，承担着传播知识、收藏研究及服务社会的职责。 随着科技水平的不断进步，虚拟现实技术开始成为一种新的展示手段，为扩大并增强博物馆藏品的传播范围与效果提供了新的方式。 介绍了光场虚拟现实技术及其在博物馆行业中的应用，从光场的拍摄、渲染和显示角度解决虚拟现实领域中双目视差、运动视差和动态对焦的问题，从而带来一种全新的人机交互模式。 其在博物馆中的成功应用，能够带给观众无与伦比的真实感，在保护展品不被损坏的情况下，让人们以前所未有的方式与博物馆进行互动。关键词 虚拟现实 光场技术 博物馆
算机视觉、计算机摄影学中涌现的最新成果，不仅能让人无法区分虚拟和现实，的自然互动，进一步增强用户的真实体验。还能实现人与虚拟环境
自从墨子发现了“小孔成像”现象以来，人们逐渐掌握了用光学成像技术观察和记录世界的能力。1826年，法国人约瑟夫·尼塞福尔·尼埃普斯发明了世界上第一台照相机[ 4]，并在巴黎拍摄了现存最早的一张照片。此后，各式各样的光学仪器如雨后春笋般纷纷出现。其中，双目立体镜的出现标志着虚拟现实雏形的诞生。 人们能够通过双目立体镜观看三维图像，相比平面照片而言真实感更为强烈。最著名的双目立体镜诞生于 1861 年，美国人奥利弗·温德尔·霍姆斯发明了一种借助木质支撑结构镶嵌两个透镜
的双目立体镜[ 5]，显著降低了成本，在当时大为流行。而真正意义上的现代虚拟现实技术起源于1965 年，被誉为“计算机图形学之父”的美国人伊万·萨瑟兰发明了一台名为“达摩克利斯之剑”的机器[ 6]，能够向双眼显示不同视角的图像，实现立体显示，同时对头部能够进行位置跟踪，实现人与虚拟环境的简单互动。进入21世纪以来， 伴随着可穿戴设备等移动终端的爆发式增长，个人设备的计算能力越来越强大，虚拟现实头戴式显示设备得以迅速兴起，虚拟现实从科学家的实验室一跃进入万千大众的视野。 经过近两年的快速发展， 虚拟现实技术相关的产业生态链逐步形成，Oculus RIFT、HTC Vive、playstation VR等硬件产品相继走入市场，各种应用也随之产生并推广。
2 虚拟现实的三大难题
为它能够虚拟现实之所以成为万创造出一种全新的虚拟众瞩场景，目的焦点使人们产生， 就是因身临其境的切身体验， 并且沉浸在这种虚拟的环境中，如同在自然状态下感受真实世界一般。而这就要求虚拟的场景必须是立体的全景式图像或视频，能够适应人类头部的运动， 同时还要提供深度信息和聚焦变化，使大脑能够判别近景和远景。
然而，要制作优秀的虚拟现实内容并不简单，必须满足人类在自然状态下观看外部世界的条件。 人的眼睛是获取外界信息最主要的渠道， 经过长时间的生理进化和日常训练， 形成了感知外部世界的一种本能，而且这种本能对外界信息是非常挑剔的。其
中很重要的一点就是感知深度信息， 这包括双目视差、运动视差、遮挡和聚散等几种方式。 当人在自然状态下观察目标时，眼睛在不断地变焦，并且通过前庭眼反射消除画面切换时的抖动和模糊。 这是因为在人眼的周围有无数的光线，眼睛通过改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动， 人可以在很大的范围内聚焦在所关心的物体上。在佩戴头盔的情况下，人眼实际是聚焦在头盔的屏幕上，而虚拟现实技术则试图“欺骗”挑剔的人眼和大脑，仿佛双眼是聚焦在不同的距离。一旦显示的内容稍有差错或延迟， 人眼就会敏感地察觉到，并造成相应的神经系统功能紊乱，发如引 诸头痛、眩晕、疲劳等不适症状。
传统的虚拟现实技术目前还远远不能达到这些要求。 人工合成的360°全景图像或视频无法产生立体视觉效果， 即便采用立体相机拍摄三维空间信息，取得双目立体视差，也仍然缺乏运动视差，不能形成进入走出的沉浸感。还需要加入聚焦变化，即人眼对焦在不同深度时，由于双眼的聚散程度不同，对焦所在的平面是清晰的，而其他平面则是模糊的。真实世界的景物是一个高维度的复杂数据， 只有完全记录其中的所有信息，并且进行不失真的重现，虚拟环境才能淋漓尽致地表现出来。因此，虚拟现实要取得成，功 就必须解决立体视觉、运动视觉和动态对焦这三大问题。
3 光场虚拟现实的最新成果
要运用光场技术，并结合计算机视觉的方法，来实现这一目标。为了创造出人眼难以分辨的虚拟现实，光场技术是计算成像/摄影领域发展起人们需来的最新技术，下面就对其进行具体阐释。光场的概念早在 1936 年就被提出[ 7]，是指光通过空间中某一点时在给定方向上的辐亮度。 如图 1所示， 人眼在观察世界时无时无刻不在收集周围的光场信息。 我们可以用全光函数的概念来描述光场（见图 2）[8]， 其包括 3D的空间变量和2D 的方向变量， 即全光函数是一个5D 函数。 在自由空间传播时，光的辐亮度沿光线传播方向保持不变，用光线在两个任意平面上的交点坐标表示， 可以将光场简化成一个4D 函数（见图 3）[ 9]。