ACTA Scientiarum Naturalium Universitatis Pekinensis
A Precise Survey Method for Objects at a Distance Based on Stereo Panorama
LI Xiaodong1, SUN Min1,†, ZHENG Hui1,2, JIANG Cheng1, REN Xiang1, LIU Lei1
1. Institute of Remote Sensing and Geographical Information Systems, Peking University, Beijing 100871; 2. College of Geoscience and Surveying Engineering, China University of Mining & Technology (Beijing), Beijing 100083; † Corresponding author, E-mail: sunmin@pku.edu.cn
Abstract A survey method for objects at a distance is proposed in order to resolve the problem of lacking geospatial information in stereo panorama. The current methods mainly aim at the survey for close range objects, while for a bit far range objects or even for long range objects measurement with a non-metric camera, the accuracy of the result is low if there are no control points provided. In the proposed method, GPS/INS sensors are utilized to acquire the camera’s pose data, and the original values in the relative orientation procedure are set in a new way. As a consequence, objects can be measured much more precisely on the stereo panorama, with the precision up to 1% of the distance between the camera and the objects in the performed experiments. Key words stereo panorama; GPS/INS; measurement; precision
立体全景影像可以呈现场景的全方位浏览效果, 可以作为三维 GIS (geographic information system)系统的补充。近年来, 与此相关的研究较多,并出现许多成熟的商业软件, 如 Google Earth 中的全景应用[1]。然而, 全景影像不能提供场景中目标的精确地理信息。同时, 目前三维 GIS 的数据主要来自全站仪、激光扫描仪等昂贵的仪器设备, 获取
速度慢, 成本高。因此, 如果将立体全景引入三维GIS 中, 通过在全景影像上快速便捷地获取目标的三维空间信息, 那么在某种程度上, 传统三维 GIS复杂的数据处理流程可以得到改善。例如, 对复杂的建筑物结构信息, 无须每次都使用专业设备进行实地量测, 也无须花费大量精力和时间对相关场景的三维数据预先进行精密采集、处理和管理, 只须
一次性地获取目标区域影像并生成全景影像, 在必要时进行量测即可。
将可量测全景影像引入三维 GIS 中具有重要意义, 可以有效地补充对三维对象的表达, 既能提供目标真实的影像信息, 又能提供目标在地理空间中的三维信息。国内有许多结合全景开发的全景三维 GIS, 如岩石科技、苏州盛景等, 均声称其系统集成了全景与三维 GIS, 用户在浏览全景影像的同时, 也可以进行实物三维量算。主要原理有两方面: 1) 采用激光扫描仪获取三维点云, 并与影像进行匹配, 形成三维影像(3D Image); 2) 采用影像上的规则形体, 通过一些已知的约束条件, 实现量测的目的。前者数据获取成本高, 且数据处理过程较复杂,难以达到实时、快速的目的; 后者不具备可信的量测精度, 量测结果仅供参考。因此, 如何利用更加简单实用的设备得到较高的量测精度, 是基于全景影像摄影测量领域的研究热点。
基于立体视觉的全景影像量测方法, 通过获取目标区域不同角度的多张影像, 可以构建大场景的全景影像, 并在全景影像基础上进行目标的量测。在基于立体视觉的三维量测方面, 国内外已有大量研究, 使用最广泛的是传统航空摄影测量方法。该方法能够得到较高的精度, 但需要布设人工控制点,使得作业流程复杂化, 且对难以选取控制点的地区无法进行量测。20 世纪末出现的机载定位定向系统(position and orientation system, POS), 集差分GPS 技术和惯性导航技术于一体, 能够用于航空摄影测量中的相机位置与姿态信息的获取, 替代人工
[2]控制点的选择 。国内外在这方面的研究都较多,并已有了如加拿大 Applanix 公司的 POS/AV 等成熟的商业系统[34]。
在地面进行的摄影测量, 同样存在难以选择人工控制点的问题, 因此很多研究者更倾向于使用方便快捷的近景摄影测量系统进行实验。Spero[5]和Jiang 等[6]都使用摄影测量方法对桥梁进行量测, 其精度都可以达到毫米级。刘建伟等[7]提出一种可以快速量测大型工件的便携式工业测量系统, 其精度可以达到 0.112 mm/3m。然而, 由于近景摄影测量系统普遍采用工业量测相机, 成本高, 不具普适性,且可量测范围局限在数米之内, 不适合大场景的目标量测。
全景影像可以提供较大的观察范围, 同样也可以用来进行大范围场景中的目标量测。许多学者对 此进行研究, 使用视频流或专业的图像传感器来构建全景影像, 并在此基础上进行目标量测, 但都未
[89]得到较好的精度 。这说明在没有控制点时, 使用非量测相机进行目标量测很难达到摄影测量要求的精度。因此, 有学者仿照引入 POS 系统的航空摄影测量方法, 将 GPS 和 IMU (inertial measurement unit)等传感器加入在地面进行的立体视觉目标量测中。张亚宁等[10]采取加入 GPS 和数字罗盘的摄影测量方法进行目标位置量测, 使用后方交会加前方交会的方法进行解算, 再与目标点实地量测的 GPS-RTK (real-time kinematic, 载波相位差分技术)量测值进行对比, 在相机与物体距离 50 m 左右的情况下, 量测误差接近 1 m, 可以满足多数情况下的精度要求, 但随着目标距离的增大, 精度也会随之降低。针对国内外在基于立体视觉的全景目标量测领域的研究现状, 本文提出一种引入 GPS 和 IMU 传感器而无须人工控制点的全景目标量测的方法, 使用简单、快速的标定方法对非量测相机进行标定,并提出一种改进的相对定向方法。实验表明, 本方法能够在相机与目标距离 100 m及以上的范围得到相对精度为 1%的量测结果。1 立体全景的构建方法
为了克服传统的立体全景构建方法造成的“立体盲区”现象(图 1(a)), 我们研究出一种新的立体全景构建方法(图 1(b)), 采用的装置如图 2(a)所示。我们的装置主要由固定在一个水平支架两端的两个完全相同的相机组成, 在其下方有一云台, 可控制相机进行 360°全方位旋转。为了进行目标量测, 拍摄时还需要实时获取影像位置与姿态数据, 因此在立体全景获取装置的水平支架中心固定一个 INS (inertial navigation system)传感器(实验中使用 MTI (inertial motion trackers))以及 GPS 天线(图 2(a)), MTI 和 GPS 的精度说明见表 1。为了提高作业效率, 拍摄的影像和位姿数据均以无线的方式传输到移动端平板电脑(图 2(b)), 该部分即为系统位置与姿态量测模块的主要硬件。
传统的单基线摄影测量, 基线较短, 交会角小,无法精确量测较远目标, 多视点摄影测量则可以较有效地改善这种情况。采用沿路径多视点的方法(图 3(a)), 获取多幅连续的高重叠度的影像序列,对空间目标点进行量测, 可以获取具有多重重叠的
更高精度同名点[11], 并且匹配后影像畸变较小, 有助于恢复目标点三维坐标。
图 4 是沿北京大学朗润园长约 80 m 的路径拍摄的建筑物的合成全景影像, 其实际路径在卫星影像中的俯视图见图 3(b)。经过全景合成的影像能展现大范围的场景。 2 基于立体全景的目标量测方法为了避免解析法摄影测量需要布设控制点带来的不便, 我们利用 GPS/INS 传感器, 实时测定摄站坐标与相机姿态参数, 在计算过程中选取有别于传统摄影测量的、相对定向的坐标系, 从而可在一定
程度上解决依赖场景中布设控制点的问题。在 GPS/ INS 传感器辅助下, 沿路径拍摄的影像序列中的每幅影像都带有位置和姿态信息, 因此影像之间的相对关系具备较好的初值。传统的摄影测量中多使用连续法相对定向来恢复立体像对的相对关系, 以立体像对中的左片影像作为基准, 采用右片影像的直线平移量和角运动旋转量(BY, BZ, , ω, κ)作为相对定向元素。在建立坐标系时, 分别以左、右片影像的像空间坐标系作为各自的像空间辅助坐标系, 以右片影像像空间辅助坐标系原点在左片影像像空间辅助坐标系中的坐标值(BX, BY, BZ)作为基线的 3 个分量, 并使用共面条件方程[12]进行求解。在相对定向解算过程中, 常将基线分量 BX归一化为 1, 从而 BY和 BZ可用 u 和 v两个小值表示, 即 BY ≈ BX · u, BZ ≈ BX · v。这在交会角较小(即左、右相机光轴近似平行)的航空摄影测量中是可行的。然而, 在本研究中, 为了得到较好的量测结果, 需要选择具备较长基线的影像对, 由于拍摄路径往往存在曲线, 因此交会角可能较大,此时上述两个近似不再成立, 从而无法依据现有方法建立量测坐标系。同时, 由于基线长度由 GPS精确测得, 因此 BY和 BZ为 0, BX为已知值, 并且影像姿态初值已经由 INS 传感器测得, 因此, 如果采用已有的相对定向量测坐标系, 计算元素仅为右片影像相对于左片影像的3个角度旋转量的精确值(, ω, κ)。对于左片影像而言, INS 传感器的量测误差(包括航向角量测的系统误差以及磁偏角误差)均无法计算。
为此, 我们考虑采用有别于传统摄影测量的坐标系: 以左方相机投影中心 S1 为原点, 以左方相机投影中心向右方相机投影中心的方向作为 X 轴方向, 垂直于 X 轴的处于水平方向并朝向被摄物体的方向作为 Y 轴方向, 垂直于 S1-XY 平面且向上的方向作为 Z轴方向。假定左片影像航向初始值存在误差角 α (图 5)。在左、右影像相对定向元素已经确 定的情况下, 左片影像航向角的误差 α 会导致摄影基线绕左片影像投影中心按照相同方向旋转相同的角度。设这个角度为β, 则有β=α。基线旋转会导致其在 Y 方向产生分量, 设这个分量为 BY, 则有
sin 1( BY / BX )。由于误差角相对于量测值为小角, 因此 BY可以当成微小量来处理, 将 BY 作为相对定向元素与(, ω, κ)一同求解, 即可反算出航向角的误差 α。另一方面, 由于 GPS 在竖直方向的定位精度较差(约 10 cm), 因此可以认为基线在 Z 方向有一个微小的改正量 BZ。将 BZ也作为相对定向元素求解, 可以提高基线量测值的精度。综合考虑上述两点, 我们将 BY 和 BZ加入相对定向元素, 并定义 BY = BX · u, BZ = BX · v。u 和 v可以近似为小量, 从而使相对定向元素仍为(, ω,κ, u, v)。由于拍摄时相机可以借助云台在横滚和俯仰方向基本上保持水平, 因此 ω 和 κ 可以近似为小量处理。由于拍摄时路径可能不为直线, 航向角可能不是小角, 因此取 = 0 +'。0 为 INS 传感器测得的初始值, ' 为其改正数。使用共面条件方程求解相对定向元素时, 由于′, ω, κ 均为小角, 可以将旋转矩阵 R2近似为
按照传统摄影测量中使用的相对定向解法, 求得相对定向元素的改正数, 将改正数与当前相对定向元素的值相加, 得到新的相对定向元素值, 重新进行迭代计算, 直至得到的改正数均小于某一阈值(本文取 0.0001), 停止迭代, 即得到右片影像姿态以及基线分量的精确值。使用基线分量 BY 计算出左片影像航向角误差 α, 将左片影像航向角初值减去 α, 即可得到左片影像姿态精确值。
3 实验与分析
采用本课题组研制的立体全景获取及量测系统, 在北京大学五四操场进行立体全景的构建和量测实验, 验证系统的实用性及其精度。系统分为室内、室外两部分, 室内部分主要由服务器端及相关处理软件构成, 用于数据的接收、全景影像自动合成与浏览以及目标量测等操作; 室外部分包括集成在三脚架上的相机组、GPS/INS 传感器以及一台手持平板电脑, 用于实时接收、发送影像和位置姿态数据, 必要时进行全景影像的拼接与立体全景合成等处理。为了保证在应用环节得到较高的量测精度, 户外获取数据作业流程有严格的要求, 具体操作流程如下。
3.1 摄站选取
首先, 依据拍摄场景以及可能的兴趣目标合理规划拍摄路线, 要求影像序列既能覆盖目标区域,又不包含过多无关场景, 以避免兴趣目标在场景中所占像幅过小而影响量测环节兴趣点的选择。为了保证相邻影像之间的重叠度, 需沿路径每隔一段距离设置一个摄站。本次实验中, 摄站距离量测目标约 110 m, 摄站间距约 10 m, 如图 6 所示。
3.2 相机标定
考虑到非量测数码相机在实际应用中的便捷性, 本研究选用 SONY α7r 非量测数码相机, 但因其质量问题, 其参数对最终量测结果会有较大影响,因此拍摄之前必须进行精确标定。我们采用棋盘标定法, 获取在标准棋盘格不同方向的一系列影像,使用 Calibration Toolbox 计算相关相机参数[1314]。相机标定结果见表 2 和 3, 其 X, Y 方向像素误差分别为 2.22656 和 2.06388。
考虑到相片畸变会影响目标点的精确选取, 我们依据标定结果对相片进行校正, 图 7 为影像序列中的一幅影像校正前后对比。为了加快图像处理速度, 校正后图像以黑白图像存储。可以发现, 与校正前相比, 校正后图像边缘有较明显的改变, 图像中心部分变化不明显。
3.3 影像拍摄与数据获取
使用图 2(a)所示装置进行拍摄, 在每个摄站拍摄影像, 并通过 GPS/INS 传感器分别获取摄站的位置和姿态信息。将这些数据通过无线设备传输到移动端平板电脑, 同时使用移动端程序进行影像拼接与立体全景的合成。处理后的影像和位置姿态数据打包后, 通过无线传输系统及网络, 实时发送到服务器端。服务器端用户在很短时间内使用量测软件模块对场景进行立体浏览, 或选择感兴趣点进行量测, 获取其位置, 也可通过多点量测得知目标的相关尺寸。
3.4 量测影像的选取
传统摄影测量中多利用大基高比(摄影基线与相对航高的比值)(0.6~1)来得到精确的量测结果。依据这一规律, 量测程序可以在量测过程中根据待量测目标自动选取用于量测的影像序列。如选取图 6 中 S1摄站对应的影像中的 4 个兴趣点(图 7 (b)), 并估算出摄站距离目标约 100 m。根据基高比条件, 程序推荐距离 S1 约 50 m的 S4摄站对应的影像为右片影像。在实际操作过程中, 由于相机视场角限制(本实验所用相机视场角为 36.5°), 基高比符合条件的影像对可能没有较好的重叠度, 会严重影响量测过程中的同名点匹配, 进而影响相对定向的精度。此时, 还应手动选取右片影像, 其规则为: 左、右影像对重叠度大于 60%, 且基线尽量最长。为了验证基高比较小时量测系统的可行性, 本实验选取 S3摄站对应的影像为右片影像。摄站基本信息见表 4。
经计算, S1 和 S3摄站对应的基线长仅为 20.98 m, 对应的基高比约为 0.2。实验条件虽不符合传统摄影测量对基高比的要求, 但已有研究证明小基 高比摄影测量同样能得到较高的精度[1517], 申二
[18]华等 也使用 0.12 的基高比得到精确的量测结果。因此, 当大基高比影像对重叠度过低时, 可以选择小基高比、大重叠度的影像对用于实验。
采用前面提出的目标量测方法进行计算, 将所得结果与使用全站仪在相同摄站进行目标点量测所得结果进行对比(如表 5 所示, 由于全站仪量测精度很高, 可达厘米级甚至毫米级, 故作为真值看待), 发现通过本文算法得到的量测结果与使用全站仪测得的结果之间的误差为 1%左右。因此, 可以认为本文提出方法适用于较远距离(如 100 m 以上)的近景摄影测量, 并可得到较高精度。
由于实验中在设置基站 GPS 时使用的是单点定位方式, 且移动站的厘米级定位精度是相对于基站的, 因此最终量测结果是一个在基站 GPS 坐标系统中的相对值。若要得到较高精度的基站坐标值, 则需在基站点上进行较长时间的定点观测。
4 结论
实验表明, 采用本文方法进行立体全景的构建, 并结合 GPS/INS 定姿定位数据对目标进行量测的方法是可行的。对较远距离(如 100 m 以上)目标的量测结果能够得到 1%的相对精度, 说明本文采用的量测方法具有实际应用意义。同时, 本实验采用的系统可以进行快速的相机标定、全景构建以及目标量测, 成本较低, 使用方便, 因此可以作为构建 3D GIS系统的重要辅助工具。
通过对比最终量测结果精度(1%)与相机标定结果精度(接近 1%)可以发现, 对最终量测结果影响最大的是相机标定精度。这是由于在标定和拍摄时, 相机要聚焦到相同的距离, 才能保证焦距在两个时刻是相同的, 因此在标定和拍摄时必然存在一个影像不清晰的时刻。本实验中人工设置相机聚焦到 100 m 处, 导致标定时误差变大。因此, 如果对量测精度有更高的要求, 推荐使用量测型相机进行实验。
参考文献
5‒7 [1] 李德仁. 论可量测实景影像的概念与应用: 从 4D产品到 5D 产品. 测绘科学, 2007, 32(4): [2] 袁修孝, 付建红, 颜佩丽, 等. POS 数据用于立体
856‒859模型恢复时的上下视差分析. 武汉大学学报: 信息科学版, 2007, 32(10): [3] 李学友. IMU/DGPS 辅助航空摄影测量原理, 方法及实践[D]. 郑州: 中国人民解放军信息工程大学, 2005 [4] 吴俊, 许斌. GPS/INS 组合系统的工作原理及其在
12‒14航空遥感中的应用现状. 测绘科学与工程, 2006, 26(1): [5] Spero P A C. The photogrammetric recording of historic transportation sites [R]. Alexandria: National Technical Information Service, 1983 [6] Jiang R, Jáuregui D V, White K R. Close-range
823‒ photogrammetry applications in bridge measurement: literature review. Measurement, 2008, 41(8): 834
126‒134 [7] 刘建伟, 梁晋, 梁新合, 等. 大尺寸工业视觉测量系统. 光学精密工程, 2010, 18(1):
247‒249 [8] 汪艺杰. 面向全景视频的距离测量方法. 计算机应用与软件, 2010, 27(9): [9] 姜军, 张波, 徐海涛, 等. 双目立体全景视觉传感
335‒338器的三维测量精度的研究. 计算机测量与控制, 2012, 20(2): [10] 张亚宁, 李辉, 张萍, 等. 影响近景信息采集系统27‒30精度的因素分析. 甘肃科学学报, 2015, 27(3):
17‒19 [11] 詹总谦, 张祖勋, 郑顺义, 等. 基于多基线立体匹配技术的三维重建. 地理空间信息, 2004(6):
54‒57 [12] 张剑清, 潘励, 王树根. 摄影测量学. 2 版. 武汉:武汉大学出版社, 2009: [13] Heikkila J, Silvén O. A four-step camera calibration procedure with implicit image correction // Proceedings
1106‒ of the 1997 Conference on Computer Vision and Pattern Recognition. Washington, 1997: 1112
(2015‒12‒14) [2016‒04‒13]. [14] Bouguet J. Camera calibration toolbox for matlab [EB/OL]. http://www. vision.caltech.edu/bouguetj/calib_doc/htmls/parame ters.html [15] Delon J, Rougé B. Small baseline stereovision.
209‒223 Journal of Mathematical Imaging and Vision, 2007, 28(3): [16] Sabater N, Blanchet G, Moisan L, et al. Review of low-baseline stereo algorithms and benchmarks // Remote Sensing. International Society for Optics and Photonics. Toulouse, 2010: 783005-12 [17] Igual L, Preciozzi J, Garrido L, et al. Automatic low
319‒348 baseline stereo in urban areas. Inverse Problems and Imaging, 2007, 1(2):
45‒49 [18] 申二华, 范大昭, 戴海涛, 等. 小基高比摄影测量方法及实验分析. 测绘工程, 2014, 23(10):