基于激光雷达和视觉信息融合的车辆识别与跟踪
【摘要】为提高自动驾驶系统对车辆目标的识别和跟踪精度，提出一种基于激光雷达和单目视觉的信息融合框架。利用改进的 算法对障碍物点云数据进行聚类，采用更快速区域卷积神经网络（ 识别单目视觉图像中的车辆目标，融合两种传感器的信息获得完整的车辆目标信息，使用联合概率数据关联（ 算法实时跟踪目标车辆的运动状态。试验结果表明，该算法可有效避免传感器杂波的干扰，能够适应车辆目标的数量变化并及时更新航迹信息，具有较高的精度和鲁棒性。
Iterative Self- Organizing Data Analysis Technique
（
Algorithm，ISODATA），DBSCAN
算法更具优势。定义参数ε和M，分别表示聚类阈值和目标数量，当给定对象的ε邻域内目标数量超过M时，将该邻域内所有对象归为相同簇。
Region- based Convolutional Neural Network，Fast RCNN）
的基础上提出的一种目标检测方法，它利用
RPN RPN
来寻找可能包含目标的区域候选框。 与检
GPU
测网络共享全图像卷积特征并且在 上运行，提高
4
了检测网络的处理速度。该方法的工作过程如图所示。
KITTI 6 000
本文使用 数据集中 张包含汽车的图片对神经网络进行训练。首先输入图像，并根据选用
Resnet101
的 卷积网络调整图像的大小，得到卷积特
RPN
征图，然后利用 在特征图上提取可能包含目标的
ROI pooling
区域候选框。 部分对区域候选框进行池化
Fast R- CNN
操作，与 相同，将不同尺寸的输入转换为固定尺寸的输出。最后利用检测网络进行回归和分
5 5
类处理，得到目标边框和得分如图 所示。由图 可知，目标分类器能够在丰富的图像信息中准确地识别
1，
到车辆目标，目标的得分接近于 表明目标的识别精度非常高。雷达的扫描时刻为基准，每次扫描的同时触发相机进行一次扫描，以此保证激光雷达数据和相机数据的时间一致性。
点云数据位于以激光雷达为圆心的激光雷达坐标系 OlXlYlZl下，视觉图像信息位于以相机为圆心的相机坐标系OcXcYcZc下。由于激光雷达与相机的安装位置和
2
角度不同，为了实现 种传感器的空间信息融合，需要
对其坐标系进行联合标定。激光雷达坐标系与相机坐标系的转换关系可以表示为[14]： xc xl yc yl zc zl
2式中，、 分别为 个坐标系的相对旋转矩阵和转移矩阵。
KITTI 3D x,y,z)
在 数据集中， 点云 在校正过的相u,v)
机中的投影位置 可以表示为：
= 3）
0) cam （
rectR rectT velo
式中， 为第i个投影矩阵； 0)为参考相机的校正旋
rect rect
转矩阵； cam为转换矩阵。
velo经过坐标转换，激光雷达的点云数据即可投影到图
6 6
像上，结果如图 所示。由图 可以看出，经过地面点云= + 2） （
DBSCAN
去除后，点云数据量大幅减少。利用改进的 算法对剩余障碍物点云进行聚类，得到障碍物在激光雷达坐标系下的位置和坐标。通过坐标标定，可以将激光雷达坐标系下的障碍物转换到图像上，得到转换后的障碍
( ul,vl) ( ll,wl)
物边框左上角坐标 和边框尺寸 。通过判断函4） 2
数（ 将得到的 种边框信息进行匹配： ul - uc + vl - vc + ll - lc + wl - wc <
4） σ （ uc vc lc wc uc, vc) lc, wc)
式中， 和 分别为汽车目标在图像中的左上角像素坐标和边框像素尺寸。
4）
当式（ 成立时，认为该对边框信息匹配成功，激光雷达和相机识别到同一车辆目标，同时确定该车辆目标σ= 8%
的尺寸和坐标信息，本文取 。完整的车辆目标信7
息如图 所示。
v k)为有效量测j与目标i之间的残差。
多目标跟踪场景中，不断有车辆在道路场景中出现或消失，航迹进而也会发生变化，因此需要对航迹进行管理。多目标跟踪中主要有试探性航迹和确认航迹，航迹被确认前属于试探性航迹。在一次测量中，首先将量测信息与已有航迹进行关联，若没有相关性，则判断是否要开始新的试探性航迹。当航迹没有量测与之关联时，认为该目标从场景中消失，删除其航迹。
为了在跟踪过程中适应目标数量的变化，本文将数据关联过程中来源于噪声的量测定义为新的试探性航
M/
迹。同时采用了 N测试方法[15]，当一个试探性航迹在N次测量中出现至少M次时，将其确认为确认航迹，从而保证了新目标能够被及时发现，同时避免了噪声的干
N= 4， M= 3
扰。本文中取 。
5.2航迹管理
为了更加方便地管理航迹，本文设计了目标年龄模块，用于表示目标的跟踪时间。每当正确跟踪到同一车
1
辆目标时，该目标的年龄增加 。当目标消失时，该目
0，
标年龄变为 且不再显示其航迹。多目标跟踪的过程
8
如图 所示。
9c 1 2
龄。从图 中可以看出：目标 和目标 的试探性航迹
3s
在第 时被确认并开始跟踪其航迹和记录年龄值；第
5s 3 7s
开始出现的目标 的试探性航迹在第 时被确认并
10 s 2
开始跟踪其航迹和记录年龄值；第 时目标 消失，
0
其年龄值变为 且不再记录其航迹。当目标出现或消失时，该算法能够及时对航迹进行管理，具有较强的鲁
9a 9b 1~ 3
棒性。从图 和图 中可以看出，目标 目标 的最
0.27% 0.35% 0.12%
大位置估计误差分别为 、 和 。在杂波
JPDA
环境中目标位置的估计误差非常小，基于 算法的多目标跟踪算法依然能够保持较高的跟踪精度。
0出识别范围时，其年龄值变为 并不再跟踪其航迹。