基于YOLO_v2模型的车辆实时检测

1,2 ,3 1,2 ,3 黎洲 黄妙华

China Mechanical Engineering - - 中国机械工程 -

Vehicle Detections Based on YOLO_v2 in Real-time

LI Zhou1,2,3 HUANG Miaohua1,2,3

1.Hubei Key Laboratory of Advanced Technology for Automotive Components,Wuhan University of

Technology,Wuhan,430070

2.Hubei Collaborative Innovation Center for Automotive Components Technology,Wuhan,430070

3.School of Automotive Engineering,Wuhan University of Technology,Wuhan,430070 Abstract: In order to solve the problems of poor real ⁃ time detection and single acquisition informa⁃ tion from vehicle ⁃ mounted camera,a real ⁃ time vehicle detection algorithm was proposed based on im⁃ proved YOLO_v2 model. Based on the YOLO_v2 network structure,a vehicle detection model was es⁃ tablished,which proved that the YOLO_v2 algorithm had high accuracy and good real⁃time performance in vehicle detections. And the YOLO_v2 algorithm was improved so that the improved one might per⁃ form multi ⁃ dimensional judgments on the vehicle ⁃ mounted video informations:judging whether there was a vehicle and the vehicle positions in the pictures,judging the relative positions to camera and the movement trend of the detected vehicles,judging the danger degree of the detected vehicles to the own vehicle. The experimental results show that the improved model achieves good detection effectiveness on vehicle⁃mounted video,solves the problems of low real⁃time vehicle detections in vehicle⁃mounted vid⁃ eo,extends the traditional vision⁃based vehicle detections from single dimensional detections to multi⁃di⁃ mensional detections.

Key words: YOLO_v2 model;vehicle detection;vehicle video;real⁃time

引言面对居高不下的交通事故率,良好的辅助驾驶系统成为一种日益迫切的需要。如果汽车本身能够检测到周围环境中的车辆,通过合理的控制策略,就能提前提醒驾驶员注意危险车辆甚至自

收稿日期: 2017-11-02

基金项目:国家科技支撑计划资助项目( 2015BAG08B0)

行采取紧急措施。行车记录仪的普遍使用,使得在汽车上实现基于机器视觉的车辆目标检测成为了可能。本文基于车载视频进行车辆目标的检测。

传统的车辆目标检测方法一般是分区域选择、候选区域特征提取、分类器分类三步完成。KACHACH等 通过提取滑动窗口内方向梯度直

[] 1

方图( histogram of gradient,HOG)特征,并用线

1.武汉理工大学现代汽车零部件技术湖北省重点实验室,武汉, 430070 2.汽车零部件技术湖北省协同创新中心,武汉, 430070

3.武汉理工大学汽车工程学院,武汉, 430070

摘要:为了解决传统车辆检测实时性差和摄像头获取信息单一的问题,提出了一种基于改进YO⁃ LO_v2模型的车辆实时检测算法。基于YOLO_v2网络结构建立车辆检测模型,证明了YOLO_v2算法在车辆检测方面准确率高、实时性好。对YOLO_v2算法进行改进,使改进后的算法能对采集到的车载视频信息进行多维度判断:判断图片中是否有车辆及车辆在图片中的位置,判断被检测车辆与摄像头的相对方位及运动趋势,判断被检测车辆对自身车辆的危险程度。实验结果表明,改进后的模型在车载视频上取得了良好的检测效果,解决了车载视频中车辆检测实时性低的问题,并将传统基于视觉的车辆检测从单一维度检测扩展到了多维度检测。

关键词: YOLO_v2模型;车辆检测;车载视频;实时;多维度的

中图分类号: TP391.4

DOI:10.3969/j.issn.1004⁃132X.2018.15.015 开放科学(资源服务)标识码(OSID) :

性支持向量机( support vector machine,SVM)来进行车辆的检测。FELZENSZWALB等 提出

[] 2⁃3了一种多尺度可变形部件模型( deformable parts model,DPM)来进行包括汽车在内的目标检测。传统的车辆检测方法虽能较为准确地检测出车辆,但区域选择时经常发生窗口冗余,整个过程复杂度高,提取出合理的特征难度较大。

文献[ 4 ]的发表,拉开了基于深度学习目标检测算法的序幕。R⁃CNN 算法是深度学习目标检

[] 5测领域的新秀,该算法在生成候选区域过程中采用选择性搜索( selective search) 方法,为后来出

[] 6

现的 SPP ⁃ net 、Fast R ⁃ CNN 、Faster R ⁃

[] 7 [] 8

CNN 、R⁃FCN 开创了一种基于候选区域的深

[] 9 [] 10

度学习目标检测的思路。

REDMON等 提出了基于回归思想的深度

[] 11

学习目标检测算法YOLO,极大地提高了目标检测速度。但初始版本的YOLO算法由于在网格划分以及预测边框数量的选取方面不太成熟,出现了定位不精准等问题。SSD 、YOLO_v2 等算

[] 12 [] 13

法在YOLO算法的基础上进行改进,使得检测效果有了进一步提升。

许多学者针对YOLO_v2算法进行了研究。ZHANG等 运用YOLO_v2算法进行了中文交

[] 14

通标志的实时检测研究, JO等 运用YOLO_v2

[] 15算法进行了多目标的实时跟踪研究, SEO 运用

[] 16 YOLO_v2算法和无人机对高速公路上的车辆进行了实时检测研究,魏湧明等 运用YOLO_v2算

[] 17法对航拍图像进行了目标定位研究。

笔者在进行车辆检测时发现,传统的车辆检测算法仅能识别出车辆及该车辆在图片中的位置,这种单一的检测结果无法获取足够的有用信息,无法知道被检测车辆的运动趋势及距离,对周围车辆的预警效果差,难以对自身车辆进行合理的控制。为了解决上述问题,本文在YOLO _v2算法基础上改进网络结构模型,优化模型关键参数,使其能够对采集到的车载视频信息进行多维度的判断。

1 YOLO_v2车辆目标实时检测模型架构

本文设计的实时车辆检测模型架构见图1。定义满足车辆实时检测的网络结构,并在VOC2007数据集中筛选出包含汽车的数据集作为训练样本,再将获得的汽车数据集输入到网络模型中进行训练,最终对训练收敛的网络模型进行性能测试。

· ·

图1 YOLO_v2车辆实时检测模型架构

Fig.1 YOLO_v2 vehicle real-time detection

model architecture

1.1 YOLO_v2网络结构介绍

YOLO_v2是在YOLO_v1的基础上采用一系列优化方法得到的。YOLO_v1的网络结构由卷积层、池化层和全连接层组成 ,在 YOLO_v2

[] 18中,为获得更多空间信息,全连接层被移除并使用锚点框 来预测边框。

[] 9

基于YOLO_v2的车辆实时检测网络结构见图2。首先将输入图片归一化为长宽均为416 像素、3通道的标准输入图片,此时具有416×416×3个数值,经过13层卷积和4次池化将图片转换为26像素、26像素和512通道的特征图。随后从2个方向处理特征图:第1个方向是将26×26×512个数值按照一定规律重新组合成13像素、13像素和2 048通道的特征图,第2个方向是经过1层池化和7层卷积将特征图转换为13像素、13像素和1 024通道的特征图。再将2个方向处理的结果进行融合,得到13像素、13像素和3 072通道的特征图。最后经过2层卷积得到最终的特征图。

图2 基于YOLO_v2的车辆实时检测网络结构

Fig.2 Real-time detection network structure of vehicle

based on YOLO_v2

YOLO_v2车辆目标实时检测基本流程如下: ( 1)将待测图像输入检测模型,得到13像素、13像素和30通道的特征图;

( 2)13个像素与13个像素形成了169个网格,对于每个网格,都预测5个边框,每个边框中包括6维信息(包括4维坐标信息、1维边框置信度和1维是否为汽车的类别信息),总共形成1个30维的向量,即为最终得到的30个通道;

( 3)将上一步预测出的13×13×5个目标边框,先根据阈值消除概率小的目标边框,再用非极大值抑制( non ⁃ maximum suppression,NMS)

[] 19去除冗余窗口。

其中,边框置信度代表了该边框中含有车辆类别的置信度和边框预测准确度两重信息,其计算表达式为

Confidence = Pr ( Object ) IOU truth pred

Detection ⋂ GroundTruth

IOU = truth pred

Detection ⋃ GroundTruth

式中, Pr(Object)表示是否有汽车落入相应的单元格中,有汽车则取1,无汽车则取0; IOU 为预测框和标记框的交truth pred

并除,表示重合度大小; Detection为系统预测出来的边框; GroundTruth为原图中标记的边框。

在整个检测流程中不难发现, YOLO_v2算法不再需要基于候选区域寻找目标,可直接采用回归的思想就完成了位置与类别的判断。正是由于YOLO_v2算法将汽车的检测转化为一个回归问题,才使得检测速度大大提升,从而使得该算法能够轻易满足实时性要求。

1.2 训练

在训练过程中,采用小批量随机梯度下降法,每36个样本更新一次权重参数。电脑内存为8G,为防止内存不够,多次实验后最终决定将36个样本分割成6个大小为6的子样本来进行训练,迭代次数为32 000。采用动量系数使训练过程加速收敛。为防止过拟合,设置权重衰减系数,并采用数据增广方法进行处理(包括随机裁剪、旋转,调整饱和度、色调、曝光度等)。通过该方法增大了训练集的样本容量,并提高了模型的泛化能力。学习率的选取采用多分布方法,具体训练参数见表1。

表1 训练参数

Tab.1 Training parameters

为保证该模型对不同尺寸的图像具有良好的鲁棒性,采用了多尺度训练方法 ,在训练过程

[] 13中,每隔几轮便随机选择一种新的输入图像尺寸来进行训练,该方法使得模型对不同分辨率下汽车的检测精确度均保持在较高水平。

2 实验及结果分析

2.1 实验平台

主要硬件配置为①处理器: Intel(R) Core ( TM)i7⁃6800K CPU @3.40GHz ; ②GPU 卡: NVIDA GeForce GTX 1060 3GB ; ③内存: 8G。

YOLO_v2算法的程序设计语言为C++语言,整个开发环境为 Windows7 X64 + VS2013 + CUDA 8.0+CUDNN 5.1。通过NVIDIA公司的基于并行编程模型和指令集架构的通用计算架构CUDA,配合应用基于深度神经网络的GPU加速库CUDNN,对数据进行快速训练及实时性验证。2.2 评价方法

在本文中,目标检测只需要判断检测到的目标是否为汽车,是一个二分类问题,故本文最终目的是:能够检测到验证集中所有的汽车,且没有将其他目标检测成汽车。为了较为正确地评价本文模型的效果,在此先作 True Car、True N ⁃ car、False Car、False N⁃car 4种定义。①True Car:目标为汽车,且被系统正确地检测成了汽车; ②True N⁃car:目标不为汽车,且系统没有将其误检测为汽车; ③False Car:目标不为汽车,但被系统错误地检测成了汽车(误检); ④False N⁃car:目标为汽车,但系统没有将其检测为汽车(漏检)。

在评价过程中一般采用精确度和召回率来评价算法性能的优劣。精确度指的是被正确检测出的汽车占检测出的汽车的比例,其计算表达式为

True Car

Precision =

True Car + False Car召回率指的是被正确检测出的汽车占验证集中所有汽车的比例,其计算表达式为

True Car

Recall =

True Car + False N⁃car

2.3 实验结果及分析

将训练集里面的1 000组信息导入模型,在GPU加速情况下经过约21 h的训练,获取了迭代32 000次之后的参数权重,得到了YOLO_v2车辆目标检测模型。用验证集中的284组信息进行验证,并与另外2种经典的目标检测算法进行对比,结果见表2。

表2 实验结果

Tab.2 The results of the experiment

Faster R⁃CNN是R⁃CNN系列算法不断优化的结果,目前是该系列算法中效果最好的算法,具有很强的代表性; DPM算法作为机器学习检测算法的顶峰,也具有很强的代表性。本文将YO⁃ LO_v2车辆目标检测算法与这2种算法进行对比,

· ·

发现3种算法的精确度均较高,均有较好的检测效果;在召回率方面, YOLO_v2车辆目标检测算法的优势比较明显,达到了97.42%;在实时性方面, YOLO_v2车辆目标检测算法的每秒检测帧数远大于Faster R⁃CNN算法和DPM算法的每秒检测帧数。实验结果充分表明了YOLO_v2车辆目标检测模型在验证集上具有良好的检测效果,且每秒检测帧数为40,满足了实时性要求。YOLO_v2车辆目标检测模型的部分检测效果图见图3。 ( c)车辆侧面检测效果 ( d)多车辆检测效果

图3 YOLO_v2检测效果图

Fig.3 Detection results of YOLO_v2

从图3中可以看出,虽然YOLO_v2检测效果好,但存在一些传统车辆检测算法共有的问题。由图3a~图 3c可以看出,传统的YOLO_v2车辆检测算法仅能识别出车辆及该车辆在图片中的位置,这种单一的检测结果无法获取足够的有用信息,无法知道被检测车辆相对于摄像头的方位及被检测车辆的运动趋势;由图3d可以看出,当图片中有多辆汽车时,无法知道哪辆被检测车辆对自身车辆的行驶有潜在威胁,对周围车辆的预警效果差,难以对自身车辆进行合理的控制。

3 改进YOLO_v2算法的车辆实时检测

3.1 被检测车辆相对于摄像头的方位定义

本文根据被检测车辆相对于摄像头的空间位置及姿态,将检测到的车辆划分为车辆后部、车辆前部、车辆侧部。按照同车道车辆与异车道车辆2种情况进行具体的定义:

( 1)同车道车辆方位分类定义。对于与自身车辆同向行驶的车辆(图4a),以正前方向左右30°范围为标准,定义为车辆后部;对于与自身车辆相向行驶的车辆(图4b),以正前方向左右30°范围为标准,定义为车辆前部;其他姿态的车辆定义为车辆侧部(图4c)。

· · ( a)车辆后部定义( b)车辆前部定义( c)车辆侧部定义

图4 同车道车辆方位定义图

Fig.4 Same-lane vehicle orientation diagram

( 2)异车道车辆方位分类定义。对于与自身车辆同向行驶的车辆(图5a),以摄像头采集到的图像中显示的被检测车辆是否有后轮为临界位置,若能观察到后轮,则定义为车辆后部,否则定义为车辆侧部;对于与自身车辆相向行驶的车辆(图5b),以摄像头采集到的图像中显示的被检测车辆是否有前轮为临界位置,若能观察到前轮,则定义为车辆前部,否则定义为车辆侧部。 ( a)同向行驶 ( b)相向行驶

图5 异车道车辆方位定义图

Fig.5 Side-lane vehicle orientation diagram车距估计及预警

从图3d中可以发现,距离摄像头不同距离的被检测车辆在图片中的位置有差异。以被检测车辆边框的下边框为标准,可以发现被检测车辆越靠近摄像头,下边框在图片中的位置越接近下方。基于此特征,本文可以对被检测车辆的距离进行估计。

先在图片中确定自身车辆的运动趋势区域,

并根据行驶到该区域所需时间的长短划分为3级预警: 1级预警为浅度提醒,告知系统前方区域有车辆; 2级预警为中度提醒,提醒车辆减速防碰撞; 3级预警为深度提醒,执行减速停车行为,具体示意图见图6。然后判断被检测车辆的下边框是否在未来运动趋势区域内,若在,则进一步判断在哪一个安全等级的区域内,再根据被检测车辆相对于摄像头的方位,综合给出自身车辆的控制策略。

图6 车辆预警示意图

Fig.6 Vehicle warning diagram

3.3 改进算法的实验结果及分析

完成改进的YOLO_v2车辆实时检测模型之后,将采集到的视频输入该模型进行检测,本文视频取自“上汽杯”汽车软件挑战赛复赛视频,将视频导入该模型后,部分检测效果图见图7。

( a)检测效果1

( b)检测效果2

( c)检测效果3

图7 车载视频检测效果图

Fig.7 Detection results of vehicle video

从图7的测试结果中发现,该改进模型对道路上车辆的检测效果整体较好,在能准确检测到车 辆的基础上,进一步判断了被检测车辆相对于自身车辆的位置及危险程度,达到了周围车辆实时检测及实时预警的目的。

结果表明,基于改进YOLO_v2算法的车辆实时检测模型在训练样本充足、迭代次数多的情况下,能够取得很好的效果,可以结合方位信息和预警信息来控制自身车辆运动,最终达到自动驾驶的目标,该改进模型可以很好地应用到车载摄像头领域进行周围车辆的检测及预警。

4 结语

本文应用YOLO_v2算法实现了车载视频中的车辆检测,解决了以往算法中目标检测实时性不足的问题。并针对传统车辆检测的局限性改进了YOLO_v2算法,将传统的单维度检测拓展为多维度检测,给基于机器视觉的车辆实时检测提供了研究方向。通过本文的研究,发现该改进模型可以很好地应用于车载摄像头领域中。笔者接下来将结合车载摄像头、毫米波雷达和激光雷达信息,对多传感器信息进行融合,并把基于视觉的方位信息和预警信息作为一种辅助距离估计方式,提高整车感知系统的稳定性。

参考文献:

[] 1 KACHACH R,CANAS J M. Hybrid Three⁃dimen⁃ sional and Support Vector Machine Approach for Automatic Vehicle Tracking and Classification Us⁃ ing a Single Camera [] J . Journal of Electronic Imag⁃ ing,2016,25(3):24.

FELZENSZWALB P, MCALLESTER D, RA⁃ MANAN D. A Discriminatively Trained, Multi⁃ scale,Deformable Part Model [] C //Computer Vi⁃ sion and Pattern Recognition. Boston:IEEE,2008: 1⁃8.

[] 3 FELZENSZWALB P,GIRSHICK R B,MCALL⁃ ESTER D,et al. Object Detection with Discrimina⁃ tively Trained Part ⁃ based Models [] J . IEEE Trans⁃ actions on Pattern Analysis and Machine Intelli⁃ gence,2010,32(9):1627⁃1645.

KRIZHEVSKY A,SUTSKEVER I,HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [] C //International Conference on Neural Information Processing Systems. USA:Cur⁃ ran Associates,2012:1097⁃1105.

GIRSHICK R,DONAHUE J,DARRELL T,et al. Rich Feature Hierarchies for Accurate Object De⁃ tection and Semantic Segmentation [] C //Computer Vision and Pattern Recognition. Boston: IEEE,

2013:580⁃587.

[] 6 UIJLINGS J R,van de SANDE K E,GEVERS T, et al. Selective Search for Object Recognition [] C // International Journal of Computer Vision. Hawaii: IJCV Press,2013:115⁃117.

[] 7 HE K,ZHANG X,REN S,et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [] J .IEEE Transactions on Pattern Anal⁃ ysis and Machine Intelligence,2015,37(9):1904 ⁃ 1916.

GIRSHICK R. Fast R ⁃ CNN [] C //IEEE Interna⁃ tional Conference on Computer Vision. Santiago: IEEE,2015:10⁃15.

REN S,HE K,GIRSHICK R,et al. Faster R ⁃ CNN:Towards Real ⁃ time Object Detection with Region Proposal Networks [] J . IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137⁃1149.

[] 10 DAI Jifeng,LI Yi,HE Kaiming,et al. R ⁃ FCN: Object Detection via Region ⁃ based Fully Convolu⁃ tional Networks [ EB / OL ] . Ithaca,New York: Cornell University Library,2016 [ 2017 ⁃ 11 ⁃ 01 ] . https://arxiv.org/abs/1605.06409.

REDMON J,DIVVALA S,GIRSHICK R,et al. You Only Look Once:Unified,Real ⁃ time Object Detection [] C // Computer Vision and Pattern Rec⁃ ognition. Boston:IEEE,2016:779⁃788.

LIU W,ANGUELOV D,ERHAN D,et al. SSD: Single Shot MultiBox Detector [ EB / OL ] . Ithaca, New York: Cornell University Library, 2015 [ 2017⁃11⁃1 ] . https://arxiv.org/abs/1512.02325. [] 13 REDMON J,FARHADI A. YOLO9000:Better, Faster,Stronger [ EB / OL ] . Ithaca,New York: Cornell University Library,2016 [ 2017 ⁃ 11 ⁃ 01 ] . https://arxiv.org/abs/1612.08242.

ZHANG J,HUANG M,JIN X,et al. A Real ⁃ time Chinese Traffic Sign Detection Algorithm Based on Modified YOLO_v2 [] J . Algorithms, 2017,10(4):127⁃139.

[] 15 JO K U,IM J H,KIM J,et al. A Real⁃time Multi⁃ class Multi ⁃ object Tracker Using YOLO_v2 [] C // IEEE International Conference on Signal and Image Processing Applications. Beijing:IEEE, 2017:507⁃511.

[] 16 SEO C J. The Study of Car Detection on the High⁃ way Using YOLO_v2 and UAVs [] J . Transaction of the Korean Institute of Electrical Engineers P,

2018,9(4):67⁃73.

[ 17 ] 魏湧明,全吉成,侯宇青阳.基于YOLO_v2的无人机航拍图像定位研究[ J. ]激光与光电子学进展, 2017,54(11):95⁃104.

WEI Yongming,QUAN Jicheng,Hou Yuqing ⁃ yang. Research on Aerial Image Positioning of UAV Based on YOLO_v2 [] J . Progress in Laser and Optoelectronics,2017,54(11):95⁃104.

[ 18 ] 王宇宁,庞智恒,袁德明.基于YOLO算法的车辆实时检测[ J. ]武汉理工大学学报, 2016,38(10):41⁃ 46.

WANG Yuning,PANG Zhiheng,YUAN Deming. Vehicle Detection Based on YOLO in Real Time [] J . Journal of Wuhan University of Technology, 2016,38(10):41⁃46.

NEUBECK A,GOOL L V. Efficient Non ⁃ maxi⁃ mum Suppression [] C //18th International Confer⁃ ence on Pattern Recognition. Hong Kong,2006: 850⁃855.

(编辑 胡佳慧)

作者简介:黎洲,男, 1994年生,硕士研究生。研究方向为机器视觉、智能辅助驾驶。E⁃mail:[email protected]。黄妙华(通信作者),女, 1962年生,教授、博士研究生导师。研究方向为大数据、智能辅助驾驶。发表论文20余篇。E⁃mail:[email protected]

(上接第1846页)

PING Ping. Lithium Ion Battery Thermal Runaway and Fire Risk Analysis and the Development on the Safer Battery System [] D . Hefei: University of Science and Technology of China,2014.

[ 19 ] 夏兰,李素丽,艾新平,等. 锂离子电池的安全性技术[ J. ]化学进展, 2011,23(2/3):328⁃335.

XIA Lan,LI Suli,AI Xinping,et al. Safety En⁃ hancing Methods for Li ⁃ ion Batteries [] J . Progress In Chemistry,2011,23(2/3):328⁃335.

[ 20 ] 艾新平,曹余良,杨汉西.锂离子电池自激发安全保护机制[ J. ]电化学, 2010,16(1):6⁃10. AI Xinping,CAO Yuliang,YANG Hanxi. Self ⁃ activating Safety Mechanisms for Li ⁃ ion Batteries [] J . Electrochemistry,2010,16(1):6⁃10.

(编辑 卢湘帆)

作者简介:陈天雨,男, 1992年生,硕士研究生。研究方向为动力电池系统热安全测试与建模。欧阳明高(通信作者),男, 1958年生,院士、教授、博士研究生导师。研究方向为节能与新能源汽车动力系统。E⁃mail: [email protected]

Newspapers in Chinese (Simplified)

Newspapers from China

© PressReader. All rights reserved.