用光场技术实现虚拟漫游展览 / 高玥珺
高玥珺
上海博物馆摘 要 光场技术在三维重建上有着无可比拟的优势，通过采集光线的方向和强度，借助渲染计算就能在虚拟世界还原现实场景。 这一技术的发展为博物馆创建虚拟漫游系统提供了更加先进的助力。 以上海博物馆的“大英博物馆百物展：浓缩的世界史”特展为例，试图打破时间和空间的限制，通过采集展厅各部分的光场数据打造“永不落幕”的在线展览，给观众以身临其境的参观体验，并为建设数字博物馆带来新的创意。
关键词 光场技术 虚拟漫游 在线展览 三维重建
0 引言
近年来有关三维成像的硬件和软件技术日益成熟， 越来越多的博物馆采用该技术来创建场馆的三维模型，让观众可以在线浏览各个展厅。 目前，主流的做法是先由激光、结构光扫描得到三维坐标数据，采集尺寸信息；再拍摄高清图像得到色彩纹理；最后将几何模型与纹理图像相关联， 结合成完整的三维模型。 其中，贴图的真实度、还原度是三维重建成功与否的关键指标。 当下，贴图工序仍由人工完成，尚未完全实现自动化， 这种模式需要耗费大量的时间和精力。 而光场技术则为还原三维场景开辟了一条新的思路，使虚拟展示的效果更加逼真。
1 光场技术概述
1.1 何为光场？
“光场” 概念的出现最早可追溯到英国物理学家、化学家迈克尔·法拉第（Michael faraday）。 1846年，他在一场题为“光束振动思考”（Thoughts on ray Vibrations）的演讲上，首次提出了“光应当被诠释为场”的说法。 所谓光场，是指光在每一个方向通过每
一个点的光量。光场信息就是表达光线的强度、位置和方向的集合。人眼在观看实物时，感知的其实是物体发出的光场，即便没有物体的相位信息，仅凭借光场强度就可以感受物体的三维状态。
最初人们用七维函数代表光线在空间中的分布，即全光函数 P（Θ，Φ，Λ，T，VX，VY，VZ），包含了空间位置（x，y，z）、光线方向（θ，φ）、波长（λ）和时间（t）。它是在 t 时刻经过三维空间中坐标为（x，y，z）的点，且传播方向为（Θ，Φ）的一条波长为 λ的光线。但在实际应用中，光的波长和时间两个维度的信息通常由 RGB色彩模式和数据帧来表示。 因此若想记录光场，只需关注光线的方向和位置信息即可。20 世纪 90 年代， 美国斯坦福大学的研究团队提出了兼具合理性和实用性的光场双平面模型。 如图 1所示， 通过记录一条光线穿过两个平行平面的坐标（即四维信息），来表示此光线的位置与方向。
1.2 光场采集
传统的光学图像采集是在成像面记录从镜头面传来的光线汇聚在一个位置上的强度， 因此只能采集一个方向的图像，且采集时成像焦点是固定的，无法反映出光的方向信息， 而光场采集则能收集各个
角度的光线强度，以确定光场的分布关系。
光场采集的实际应用中， 可将光场双平面模型中的 uv 平面视为镜头面，xy平面视为感光成像面。相机阵列是最直接的光场采集方式， 阵列中不同相机的位置对应了不同方位的各个采样点， 可同时采集不同角度和空间分辨率的光场，但存在着体积大、成本高的缺点。
相比之下， 微透镜阵列由通光孔径及浮雕深度为微米级的透镜组成，不仅具有传统透镜的聚焦、成像等基本功能，而且具有单元尺寸小、集成度高的特点。通过在主透镜和成像面之间架设微透镜阵列，光线穿过每个微透镜从而在成像面的感光元件上得到不同的方向和位置信息， 再结合微透镜坐标和镜头子孔径坐标，便可获取光场的分布情况。
1.3 渲染重建
如图 2所示，在光场视图的重建过程中，首先采集图像阵列，接着分析光场分布规律，再计算出光线在新的成像面上的交点位置和强度信息， 最后重新建立成像平面。 类似于传统光学成像模式中的调焦，光场成像通过计算得出不同成像平面位置的图像并对焦，做到了先拍摄、后聚焦。 从某种意义上，对于光场成像来说处处都是焦点。此外，利用不同深度平面的图像序列还可计算三维深度及合成全景深图像等。
目前，图像拼接技术已广泛运用于场景还原中，通过光场渲染既能够实现三维自由转动， 也能够根据观众的视角多次重新对焦， 从而使观众获得更加真实的浏览感知。
2 用光场技术创建虚拟漫游系统
2.1 创建流程
如图 3 所示， 开发虚拟漫游系统的第一步是对
据的有效性，便于素材的后期处理。
有了这些实际环境数据， 就可以由软件分析出其光场分布规律，并将这些规律应用于三维重建。借助渲染算法，结合采样时的坐标系统及几何参数，将获取的亮度、纹理、阴影、轮廓等信息进行匹配，这样每个角度的光影效果都可跟随观众的视角而发生变化。
三维模型的建立并不意味着虚拟漫游系统的完成。一个完整的虚拟漫游系统，其功能除了让观众在展馆场景中全方位沉浸式漫游外， 还要让观众在无法接触实物的情况下与文物进行互动，可运用文本、声音、图像等多媒体形式，开发一系列自主操控和交互功能。
2.2 应用案例
如表1 所示， 上海博物馆将光场技术应用到文物三维重建和虚拟展厅建设中，致力于手机端、网页端、HTML5端的跨平台开发，让无法亲临现场的观众在线参观展览。
下面以“大英博物馆百物展：浓缩的世界史”特展为例， 具体谈谈上海博物馆如何用光场技术实现虚拟漫游展览。 如图 4 所示， 整个展览共有十个部分：“序厅”“开端”“最初的城市”“权利与哲学”“仪式与信仰”“贸易与侵略”“创新与适应”“邂逅与联结” “我们制造的世界”“尾厅”。 为保证虚拟展厅各视角的完整性，我们精心选取了25个视点来采集光场信息，并妥善解决角度遮挡问题，尽量避免无效的重复采集。 当然，仅仅还原展览的结构布局是不够的，还应当围绕参观动线，渲染现场气氛，营造出一种“边走边看” 的多感官体验。 当观众在虚拟展厅中漫游时，不只是随意地行走在场景中，还能近距离欣赏感兴趣的展品。比如放置在序厅的“埃及佘盆梅海特内棺”，观众可通过鼠标或触摸等方式，放大文物的细节，只见棺上的花纹图案生动清晰、色彩过渡层次分明、 纹理刮痕细致无比， 真正做到了文物的数字化“复活”。
3 启发与思考
光场技术不仅可以用来还原展览的三维场景，同样也适用于文物的数字化处理。目前，文物的三维重建大多通过激光扫描获得三维几何信息， 再进行
人工贴图来建模。 但在操作中，当遇到深色、暗色或高反光的物体时，便会对光学图像的采集造成困难。如有的文物表面对激光反射率低， 近距离反复扫描会导致点云数据的噪点增多， 在后期处理的过程中不得不人工剔除噪点，从而造成一定的细节损失，只能靠添加纹理材质来弥补。 而运用光场技术则可达到事半功倍的效果。 通过采集和再现光线的方向和强度，准确地反映出空间中各物体的位置关系，完美模拟人眼看到的景深信息，并利用数字调焦功能，有效解决由视觉误差引起的眩晕问题。 这些优势决定了光场技术是一种极具潜力的裸眼立体技术， 且可为增强现实技术提供支持， 让虚拟对象完美地融入真实场景之中。
随着信息技术的发展， 在创建虚拟漫游系统的基础上， 未来可进一步拓展光场技术在文博行业的
应用领域，立足文物保护、学术研究、宣传教育，更好地还原文物及其背后的文化底蕴，打造一个开放、共享的数字博物馆。
参考文献[1]张永春.虚拟现实技术在博物馆的应用探讨：兼谈浙江省博物馆虚拟展览的创建过程 [J]. 中国信息界，2010（7）： 31-34. [2]刘旭，李海峰.基于光场重构的空间三维显示技术[J].光学
学报，2011（9）：202-206. [3]李建华.关于中国美术馆虚拟展览系统初步设计的构想[J].
中国美术馆，2014（6）：28-30. [4]苏忱，李海峰.应用于混合现实的光场三维显示研究综述
[J].计算机辅助设计与图形学学报，2016（6）：905-912. [5]李克恭，吴文魁，刘清.基于网络环境的虚拟展览馆建设方
法探讨[J].测绘与空间地理信息，2016（11）：125-128.
（2020-03-11 收稿，2020-03-24 修回）
The implementation of virtual roaming exhibitions with light field technology// gao yuejun
Author's Address Shanghai museum, e-mail: 2875858283@qq.com
Abstract The light field technology has the incomparable advantage in 3d reconstruction. by collecting the direction and intensity of light, the real scene can be rebuilt in digital world with the rendering algorithm. The development of this technology has provided a lot of help for the implementation of virtual roaming system in museums. Take the special exhibition "A History of the World in 100 Objects"in Shanghai Museum as an example, the everlasting online exhibition will be built by collecting the light field data from every part of the exhibition hall. It gives the visitors a total immersion visiting experience without the limitation of time or space. and it also provides new ideas for the digital museums.
Keywords light field technology, virtual roaming, online exhibitions, 3d reconstruction