基于视觉标记板的自动驾驶车辆激光雷达与相机在线标定研究
【摘要】针对传统的高清相机和激光雷达外部参数手动或半自动化标定程序繁琐和耗时问题，提出一种适用于地面无人平台车载激光雷达和相机在线自动标定的方法，以安装标记板（ Marker）的移动车辆为标定目标，实现车辆的快速识别和位姿估计。同时获取在两种传感器中得到的位姿估计结果，利用经典的定向求解方法计算得到相机与激光雷达之间的刚性转换关系，并在真实城区环境中利用最优评估优化减小标定误差，试验结果证明了所提方法的准确性与可靠性。
吴琼 时利 谢欣燕 岳丽姣（安徽江淮汽车集团股份有限公司技术中心，汽车智能网联技术安徽省重点实验室，合肥 230601）
主题词：激光雷达 相机 在线自动标定 无人驾驶车辆U463.6；U492.8 A 10.19620/j.cnki.1000-3703.20181210中图分类号： 文献标识码： DOI: An On-Line Calibration Method Between Laser and Camera in Autonomous Driving Vehicle Based on Visual Marker Board
Wu Qiong, Shi Li, Xie Xinyan, Yue Lijiao Anhui Province Key Laboratory of Intelligent Connected Vehicle Technology, Technical Center, Anhui Jianghuai （ Automobile Group Co., Ltd., Hefei 230601） Abstract It’s tedious and time- consuming to calibrate manually or semi- automatically external parameters of【 】traditional HD camera and laser radar. To solve this problem, a novel method is presented to calibrate the laser and camera automatically for the unmanned ground vehicles. The method uses a vehicle mounted with a marker as the calibration object to make the target to be estimated rapidly. Pose estimation result is obtained from 2 sensors, and the classical oriental solution is used to calculate the rigid conversion relation between camera and laser radar, the optimal evaluation optimization is used to reduce calibration error in real urban environment, test results prove accuracy and reliability of the proposed method.
Key words: Laser, Camera, Automatic extrinsic calibration, Unmanned ground vehicles 1 前言
激光雷达和相机是当前无人驾驶汽车环境感知使用的最主要的两类传感器，但二者获取的不同形态的信息单独利用通常会引发冲突，故相机和激光雷达的置信融合是当前无人驾驶汽车环境感知领域的重要研究方向[1- 4]。信息的置信融合不仅可以避免冲突问题，还可以提高环境要素感知的置信度。其中，相机和激光雷达间的外部参数标定是实现信息鲁棒融合的一个重要环节。
国内外科研工作者针对相机与激光雷达信息融合
问题，提出了大量的自动或半自动外部参数标定方法。
Ranjith Unnikrishnan Zhang
等在[5] 等[6]提出的相机与二维激光雷达标定方法的基础上，提出了三维激光雷达与相
A. Sergio
机外部参数标定方法。 等[7]提出一种利用圆形目标物求解相机与四线激光雷达间坐标映射关系的方法，该方法能够准确估计圆形目标物的位姿。
Scaramuzza
等[8]提出了一种基于自然环境特征的激光雷达与相机外部参数在线标定方法，但需要手动选择两类
Gaurav Pandey[
传感器的配准点。 9]提出一种共有信息最大化的无目标外部参数标定方法，该方法通过场景反射
Cramer率使共有区域最大化，并通过克拉美罗下界（
Rao Lower Bound，CRLB）
消除标定误差，但是该方法过度依赖反射率信息。
目前，相机与激光雷达外部参数标定方法大都为手动或半自动化标定，不仅过程繁琐，而且人为因素对标定误差的影响较大。针对上述问题，本文提出一种面向无人驾驶汽车车载激光雷达与相机的在线快速自动标定方法，以安装视觉标定板的试验车为标定目标，从图形和三维激光雷达数据中快速识别试验车，进而求解相机与激光雷达之间的外部参数矩阵。
2 问题描述
相机和激光雷达之间的外部参数标定问题实际上是相机坐标系与激光雷达坐标系之间的刚性转换问题。在无人驾驶平台上，相机以一定的倾斜角度安装在
64
前部，将前方的三维物体映射到二维图像中， 线激光雷达水平安装在平台顶端，二者相对位置和姿态关系固定不变，故在相机和激光雷达的视场公共区域内，每个三维激光点在图像中始终存在一个像素点与之对应。因此，相机和激光雷达之间的外部参数标定问题即三维激光点与二维图像像素点之间的映射矩阵求解问题：
[ 1] T= T[ 1] 1） uv xyz T （
( x,y,z) ( u,v)
式中， 为三维激光点的坐标； 为三维激光点对
3×4
应的二维图像像素坐标； T为 矩阵，即所求的映射关系矩阵。
根据相机的小孔成像原理可知：
é f γ c ù x x [
T = R t] 2）
0 f c （
y 1 y
ë 0 0 û
( cx,cy)式中，、fx fy分别为相机在x方向和y方向的焦距； 为相机的主点位置； γ为相机的畸变参数，可以通过
MATLAB
相机标定工具标定得到； R为世界坐标系到相机坐标系的旋转矩阵；为世界坐标系原点在相机坐标t系中的位置矩阵。因此，可认为相机的内部参数为已知条件，三维激光点和图像像素之间的映射关系求解问题可以转换为相机与激光雷达之间的旋转和平移关系求解问题。通过对若干对一致点构成的线性方程进行求解，可以获得其最小二乘解。
3 标定3.1 标定方法
考虑到在线标定的动态性和目标的唯一性要求，本文利用视觉标记板代替传统标定中的棋盘格，以便于视觉识别。同时，相机和激光雷达采集数据存在异步性，所以对t1时刻采集的图像数据和t2时刻采集的激光点云
Marker）
数据分开进行处理。当试验车辆和标记板（ 均成功识别后，输出标记板相对于相机坐标系的位姿和试验车辆相对于激光雷达的位姿，可认为这两个位姿在世界坐标系中是等价的，因此提取一致点构成线性方程组，求解后通过评价函数判断是否满足收敛条件，若满足，则终止，否则将一致点带入方程组迭代求解，直至满
1
足最优条件。算法流程如图 所示。
3.2 基于视觉标记板的车辆位姿识别
4
受虚拟现实技术启发，已知几何尺寸的共面 个点可以确定该面在相机坐标系中的位置和姿态[6]。本文通过识别标记板，利用坐标转换快速获取试验车辆在相机坐标系下的位姿关系，避免了基于深度学习方法的车辆识别在时间上的消耗问题与传统双面测量的误检问题。以标记板中心为坐标原点，标记板平面为X- 4
Y面，则标记板 个顶点在标记板坐标系中的坐标分( l/ 2, l/ 2,0) (- l/ 2, l/ 2,0) ( l/ 2,- l/ 2,0) (- l/ 2,- l/ 2,0)
别为 、 、 、 。其中，为标记板的物理边长。标记板坐标系与相机坐标l 2
系之间的坐标转换关系如图 所示。根据小孔成像原理，空间坐标和图像坐标之间的映射关系为： [ xc yc 1] T= AMTcm[ xm ym zm 1] T （ 3）
( xc,yc)
式中， 为标记板顶点在图像坐标系中的坐标； ( xm,ym,zm) zm= 0；
为顶点在标记板坐标系中的坐标，通常取A为相机的内部参数矩阵； M为透视投影变换矩阵； Tcm为相机坐标系到标记板坐标系的转换矩阵，可以OpenCV solvePnP
通过 开源库[10]中的 函数求解得到； r11= cosβcosθ； r12= cosβsinθ； r13=- sinβ； r21=- cosαsinθ + sinφsinβcosθ； r22= cosφcosθ+ sinαsinβsinθ； r23= sinφcosβ； r31= sinφsinθ + cosαsinβcosθ； r32=- sinαcosθ + cosφsinβsinθ； r33= cosαcosβ； φβθ、、分别为相机坐标系与标记板坐标系之间的偏航角、俯仰角和翻滚角； tx、ty、tz分别为相机在标记板坐标系中x轴、y轴及z轴的空间坐标。
3.3 基于激光雷达的车辆位姿识别
激光雷达能否正确识别试验车辆的位姿是标定试验成败的关键因素，以最小外包立方体中的姿态表示，主要通过分割、聚类、车辆识别、试验车辆跟踪等几个关键步骤实现。
3.3.1
分割由于标定试验在城区结构化环境下进行，本文采用[11]
文献 中提出的基于线段拟合的快速路面分割算法，建立了三维点云数据的极坐标栅格图，将数据点从三维
( x,y,z) ( +
空间 映射到二维空间 x2 v2 , z)，
然后在每个栅格中选择高度最低的点作为地面候选点，对同属于一个扇区的所有栅格的候选点进行线段拟合，将拟合线段作为候选地面，计算所有数据点到拟合线段的距离，根据距离大小和线段斜率区分障碍物点与地面点。
3.3.2
聚类
K-means[
得到当前场景的路面信息之后，本文通过 12]
聚类算法对滤除地面激光点后的三维点云数据进行聚类。
3.3.3
车辆识别车辆目标识别主要是在激光雷达点云数据中将其区别开来，以提高相机与激光雷达的识别一致性，
3 1
如图所示。得到聚类结果后，利用个面与地面重合的外接立方体近似车辆，该立方体的姿态即为当前聚类的姿态。车辆识别过程遵从以下原则：由于小型车辆的几何尺寸可视为已知，故外接立方体的高度应1.4~2.0 m 2.0 m，
在 范围内，宽度应小于 长度不大于
5.0 m；
车辆在激光雷达的侧前方，其三维点云数据投
L影到二维地面，通常都呈现 型[13]。3.3.4
试验车辆跟踪在得到当前场景中的车辆目标信息后，创建车辆目标动态状态列表来存储识别到的信息[13- 14]。车辆状态
s={ , , , , , }
用六元组 编号位置时间姿态加速度置信度 表示，并且根据识别结果实时更新状态列表。由于标定试验车的状态在上一时刻已知，故可以利用最大关联法将上一帧的试验车状态信息与当前识别的车辆状态列表进行关联匹配，从而在包含众多车辆目标的雷达数据中精准聚类。在关联匹配的过程中需要考虑试验车辆本身的运动学特性：
Kmax = 1 = tanφmax 6） （ rmin L
≤ Kmax ì k
≤ φmax φ
7）
í - ≤ vmaxΔt cosθ （ x x
t t -1
- ≤ vmaxΔt sinθ y y
î -1 t t
式中， Kmax为最大曲率； φmax为最大转向角； rmin为最小转弯半径； L为车辆轴距； k为车辆当前运行轨迹曲率； φ为标定对象车辆的当前转角； xt、yt分别为t时刻前方车辆在试验本车坐标系中的横向坐标和纵向坐标； vmax为车辆允许的最大行驶速度；为试验本车识别的时间间隔； t θ为标定对象车辆的航向角。
3.4最优解评价
为实现平移和转换矩阵最优化，即标记板和试验车三维激光雷达聚类外包立方体的后部共面，通过评估函数[1]实现外部参数的优化评价：
ΣΣ æ ( j) ′ ö 2
( x, y, = argmin - · 8）
z)* OpiT( qi, ni （ x, y, z) ( x, y, z) i j式中， pi为第i个标记板在相机坐标系中的位置； O为选择矩阵； T( 为平移矩阵； qi, 为第i个位置的标记板中心x,y,z) j点在第j帧激光雷达数据中的坐标； ni为第i个标记板位置的标记板面法向量。
4 试验验证
采用自主研发的“智能先锋”系列无人驾驶汽车平台，以正后方配置视觉标记板的车辆为标定对象，试验
Velodyne HDL 64E
本车上安装有 激光雷达与映美精高
4
清相机，即为待标定的两类传感器，如图 所示。
标定试验在开放式的城区道路环境中进行，首先将
Autoware[本文提出的方法与开源软件 4]库中基于棋盘格的激光雷达与相机静态手动标定方法进行对比分析，结
1 1
果如表 所示。表 中， αβγ、、分别为相机与雷达之间的俯仰角、侧倾角及横摆角，、、分别为相机与激光雷xyz
达之间的空间位移关系。从表中可以看出，本文方法产
Autoware
生结果与 中标定方法的标定结果非常接近，平
Autoware
均误差虽然略大于 中方法，但对最终信息融合结果影响不大，且本文方法的主要优势在于自动化和节约时间。为了直观地验证和显示标定结果，选择不同位
5
置的三维激光点云数据映射到高清相机图像中，如图
5
所示。从图 中可以看出，车辆及其边缘得到了较好匹配，虽然周围存在少数误差点，但不影响整体的融合效果，可见，标定结果能够较好地满足无人车激光雷达与相机之间的信息融合要求。
5 结束语
本文提出了一种面向无人驾驶汽车车载激光雷达与相机的外部参数快速自动标定方法。以配置有视觉标记板的车辆为标定目标，本车上相机与激光雷达之间的外部参数可以通过本文提出的标定算法自动完成。试验结果表明，本文提出的标定方法可靠，但是车辆在行驶过程中，受颠簸等因素影响，可能会增大标定误差。如何克服或补偿颠簸或检测精度等因素导致的标定误差累积问题是下一步研究的重点内容。
参考文献
[1] GONG X, LIN Y, LIU J. Extrinsic Calibration of a 3D LIDAR and a Camera using a Trihedron[J]. Optics & Lasers in Engineering, 2013, 51(4): 394-401. [2] PANDEY G, MCBRIDE J, SAVARESE S, et al. Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[J]. IFAC Proceedings Volumes, 2010, 43(16): 336341. [3] SERGIO A R F, FREMONT V, BONNIFAIT P. Extrinsic Calibration Between a Multi- Layer Lidar and a Camera[C]// IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. IEEE, 2008: 214-219. [4] KATO S, TAKEUCHI E, ISHIGURO Y, et al. An Open Approach to Autonomous Vehicles[J]. IEEE Micro, 2015, 35 (6): 60-68. [5] UNNIKRISHNAN R, HEBERT M. Fast Extrinsic Calibration of a Laser Rangefinder to a Camera[D]. Pittsburgh: Carnegie Mellon University, 2005. [6] ZHANG Q, PLESS R. Extrinsic Calibration of a Camera and
Laser Range Finder[C]// International Conference on Intelligent Robots and Systems. IEEE, 2003: 2301-2306. [7] SERGIO A R F, FREMONT V, BONNIFAIT P. Extrinsic Calibration Between a Multi- Layer Lidar and a Camera[C]// IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. IEEE, 2008: 214-219. [8] SCARAMUZZA D, HARATI A, SIEGWART R. Extrinsic Self Calibration of a Camera and a 3D Laser Range Finder from Natural Scenes[C]// IEEE International Conference on Intelligent Robots and Systems. 2013: 4164-4169. [9] PANDEY G, MCBRIDE J R, SAVARESE S, et al. Automatic Targetless Extrinsic Calibration of a 3D Lidar and Camera by Maximizing Mutual Information[C]// Twenty- Sixth AAAI Conference on Artificial Intelligence. AAAI Press, 2012: 2053-2059. [10] BRADSKI G, KAEHLER A. Learning OpenCV: Computer Vision in C ++ with the OpenCV Library[M]. O'Reilly Media Inc., 2013. [11] HIMMELSBACH M, HUNDELSHAUSEN F V, WUENSCHE H J. Fast Segmentation of 3D Point Clouds for Ground Vehicles[C]// Intelligent Vehicles Symposium. IEEE, 2010: 560-565. [12] TANG B, ZHOU Y, YU Y, et al. Higher- Order ClassSpecific Priors for Semantic Segmentation of 3D Outdoor Scenes[C]// IEEE Winter Conference on Applications of Computer Vision. IEEE, 2016: 1-9. [13] , , .苏致远 徐友春 李永乐 基于三维激光雷达的车辆目标[J]. , 2017, 19(1): 45-49.检测方法 军事交通学院学报[14] , , , .辛煜 梁华为 梅涛 等 基于激光传感器的无人驾驶汽[J]. , 2014, 36(6):车动态障碍物检测及表示方法 机器人654-661.