基于转向盘图像的驾驶员疲劳检测方法研究

蒋鹏民 李海标 黄名柏 时君

Automobile Technology - - Qiche Jishu - (责任编辑 文楫) 2018 4 1修改稿收到日期为 年 月 日。

【摘要】为避免因疲劳驾驶导致交通事故,提出一种基于转向盘图像的驾驶员疲劳检测方法。该方法利用摄像头实时采集转向盘图像,经过处理得到转向盘转角,进而提取与疲劳相关的零速百分比和角度标准差两项指标,在此基础上采用支持向量机融合算法建立了驾驶员疲劳判别模型。试验结果表明,所建立的判别模型检测正确率达85%,检测方法具有操作简单、实用性强和鲁棒性好等优点。

蒋鹏民 李海标 黄名柏 时君541004) (桂林电子科技大学,桂林 主题词:驾驶员 疲劳检测 转向盘图像 支持向量机U463.6 A 10.19620/j.cnki.1000-3703.20172431中图分类号: 文献标识码: DOI:

Research on Driver Fatigue Detection Method Based on Steering Wheel Image

Jiang Pengmin, Li Haibiao, Huang Mingbai, Shi Jun Guilin University of Electronic Technology, Guilin 541004) ( Abstract To avoid traffic accident caused by fatigue driving, a method of driver fatigue detection based on steering【 】wheel image was proposed in this paper. Through real- time acquisition of camera steering wheel image, this method can extract the steering wheel angle, two index including zero speed percentage and standard deviation of angle associated with fatigue. Then support vector machine fusion algorithm was used to establish drive fatigue discrimination model. Test results show that detection accuracy of fatigue can reach 85% , the detection method has advantages of easy operation, good practicability and robustness. Key words: Driver, Fatigue detection, Steering wheel image, Support vector machine

1 前言

统计数据表明,我国每年因疲劳驾驶引起的交通事

20% 40%

故占交通事故总数的 左右,占特大交通事故的以上[1]。如果能在驾驶员疲劳产生的初期给予安全提醒,将会最大程度地避免交通事故,所以实时疲劳检测系统的设计研究对道路交通安全意义重大。现有驾驶员的疲劳检测方法主要依靠人脸面部特征进行判别[2],

这种检测方法所采用的算法较复杂,实时效果较差,受个人特征影响较大。

研究发现,转向盘转角数据能实时反映驾驶员的操作状态,通过检测转向盘转角的实时变化即可判断驾驶员的疲劳状态,其中关键是对转向盘转角的测量。目前 国内外主要采用转角测试仪或转角传感器[3]对转向盘转角进行测量,但这些仪器安装困难,不便于拆卸移动。为此,本文提出基于转向盘图像的驾驶员疲劳检测方法,并建立了驾驶员的疲劳判别模型,通过试验验证了判别模型的有效性。

2 基于转向盘图像的驾驶员疲劳检测方法2.1 检测流程

1基于转向盘图像的驾驶员疲劳检测流程如图 所示。首先,由摄像头实时采集转向盘图像并进行预处理,通过对预处理后的转向盘图像进行特征点的检测和跟踪,进而计算出转向盘的转角;其次,根据转向盘转角计算出与疲劳最相关的两个指标,即零速百分比

PNS SVM)

和角度标准差σ;最后,采用支持向量机( 算法建立驾驶员的疲劳判别模型,利用该模型对试验数据进行判别。

2.2 检测方法

2.2.1

转向盘转角计算方法

2.2.1.1

转向盘圆心位置确定

通常情况下转向盘形状可视为圆形,但由于摄像头的安装位置不一定在转向盘中心的正上方,为增强算法的鲁棒性,采集过程中的转向盘形状一般按椭圆来处理。首先利用安装于驾驶室车顶位置的摄像头拍摄一

2),

张白色背景的转向盘图像作为初始图像(图 然后利

OpenCV findContours()

用 库中 函数对初始图像进行处理,通过设置一些约束参数得到转向盘图像的最外轮

OpenCV

廓。为快速找到转向盘圆心位置,在 中利用图

moments()

像矩 函数[4]计算图像中所有的矩,进而计算出

x0, y0)

转向盘圆心位置坐标O( 。 2.2.1.2

特征点的检测与跟踪特征点(也称角点)常被定义为两条边的交点,更严格地说,特征点的局部领域应该具有两个不同区域的不同方向的边界。

3

如图 所示,摄像头拍摄到的椭圆形转向盘上特征

ym),

点位置坐标为m(xm, 而实际特征点位置坐标为M ( xM,yM),跟踪点m计算出的转角与实际转角(由点M计

ym) yM)算出的转角)存在一定的偏差。m(xm, 与M(xM, 之间的对应关系为: x = 1)

x ( M m = R2 -( - ) 2 2)

y X X ( M m o式中, X 为圆心位置横坐标;半径R为椭圆长半轴(等o于转向盘最外轮廓半径),且R的长度不变。 图 检测到的特征点位置与实际位置示意 OpenCV为了使检测到的特征点坐标更精确,采用cornerSubPix()[库中亚像素级特征点检测函数 5]得到当前m01, )帧转向盘图像上特征点位置坐标 A0( x y 和m01

B0( x m02, ) 1) 2)

y ,经式( 和式( 换算后得到当前帧转向盘m02 M01, ) M02, )实际位置坐标 A0( x y 和 B0( x 4

y ,如图 所示。M01 M02 图 转向盘上特征点位置示意 ROI),

在图像处理领域可设置感兴趣区域( 也就是从图像中选择一个分析所关注的重点区域,在此区域内用鼠标点击即可检测出此区域内的特征点,以提高特征点的检测速度。如果对每帧转向盘图像都要进行特征点检测则算法较复杂,同时考虑到在实际行车过程中驾驶员手臂可

KLT能会遮挡部分转向盘,为此,采用 跟踪算法[6]对特征点进行实时跟踪。

KLT

跟踪算法的原理为:假设相邻两帧图像的亮度恒定、时间连续和空间一致性,简单的说,通过迭代寻找上一帧中转向盘图像中的特征点在当前帧中的位置。

KLT CalcOp⁃

跟踪算法的具体实现过程被写成了库函数

ticalFlowPyrLK(), M01, )

把上一帧特征点位置坐标 A0( x y M01 M02, )

和 B0( x CalcOpticalFlowPyrLK()

y 输入到 函数中, M02 M11, )函数输出当前帧特征点位置坐标 A1( x y 和M11 M12, )

B1( x y 。M12

2.2.1.3

转向盘转动角度θ的计算

当转向盘转动角度θ后,当前帧的特征点位置为M11, ) M12, ) A1( x y 和 B1( x 5

y ,如图 所示,最终转向盘转M11 M12动角度θ为特征点A0和B0转动角度的平均值,即

= 12 θ ( θ1 + θ2) 3) (

一般情况下,需要求两个特征点动角度的平均值作为最后的转角数据,但是汽车实际行驶过程中驾驶员可能会遮挡一个特征点,这时另外一个特征点的转角可作为最终的转角数据。

2.2.2

特征提取研究发现,当驾驶员处于疲劳状态时,其对转向盘的修正频度减少,转向盘静止不动的时间增多。本文采用零速百分比PNS来表征所选时间段内转向盘静止不

50 s, 10 /s,动的程度[7],取时间段为 采样频率为 帧 则零速百分比PNS计算式为:

PNS n i i X

= = 500,501,…, 7)

i N ( i

50 s式中, NPS 为第i帧的零速百分比; N 为第i帧前i i

50 s内角速度的总采样点数; n 为第i帧前 内角速度在i

± 0.1°/s

内的点数。

另外利用角度标准差σ表征所选时间段内转向盘转角波动的大小,角度标准差计算式为:

式中, θ 为第j帧对应的转向盘转角; 为第 M 帧内平j均每帧转向盘转角。

2.2.3

疲劳状态判别算法

综合所得的零速百分比PNS和角度标准差σ,采用

SVM)

支持向量机( 分类算法建立驾驶员疲劳判别模型[8]。支持向量机分类算法先训练样本集S,在样本空间中找到一个划分不同类的超平面,该超平面对应的模型

+ =0

为 ωT x b ,模型参数 ω为法向量、b为位移项、T为

=( PNS,

转置、x σ)为零速百分比和角度标准差组成的年 第期 自变量。

支持向量机分类算法实现步骤如下。

a. 5 5

训练样本的采集。选择拥有 年以上驾龄的名驾驶员,每位驾驶员随机挑选一部车况良好的车辆,

100

采集不同行驶状况下的 个训练样本,样本情况如

1

表 所列。 b.

参数的求解。找到一个超平面将训练样本分

+ =± 1开,且满足两类支持向量(满足 ωT x b 的样本点)到超平面的距离之和最大,也就是找到约束模型

+ =0 ωT x b 的参数ω和b,使得间隔最大,即

min 12

  2

ω ω. 10) b ( st. ( + ) ≥1 = 1,2,…, 100

y ωT x b t t t

=( t, ) ∈{1,- 1}

式中, x PNS σ ; y 。t t t

10)

以上就是支持向量机融合算法的基本模型,式(本身是凸二次规划问题,可以直接用现成的优化方法来计算,但是可以采用更高效的方法,就是使用拉格朗日乘子法得到其对偶问题:

12Σ n1 Σ n1 Σ n1 min ×x ) - 11)

y t1y t2α t1α t2( x α ( t1 t2 t1 α

t1= 1 t2= 1 t2= 1

式中, x、、、x y y 为样本参数; α为拉格朗日常数。t1 t2 t1 t2

SVM

以上是一般线性 分类原理,对于疲劳驾驶行为决策模型,属于非线性可分问题,则需在上式中引入t1, )实现线性映射的核函数K( x x ,则t2

12Σ n1 Σ n1 Σ n1 min t1, ) - 12)

y t1y t2α t1α t2 K( x x α ( t2 t1 a

t1= 1 t2= 1 t2= 1

SVM) 2

支持向量机( 融合算法的模型参数设置如表所示。

4

本文基于 重交叉检验法对疲劳驾驶的检测模型做出准确率的评价,利用网格寻优法搜寻最优变量组合

( C, 6 6

γ) ,其搜寻结果如图 所示。由图 可知,当交叉检87% C= 4,

验准确率为 时,模型参数达到最优,此时,

3 试验结果与讨论

在实际的机动车行驶环境下对建立的疲劳判别模

9 12

型进行了试验验证。试验时间段为上午 时至 时和

2 4

下午 时至 时,地点为桂林市中山路的主干道。选取

100 80

个测试样本,其中清醒状态样本 个,疲劳状态样

20

本 个,测试样本状态是由人工主观察所得,模型判别结果与实际状态一致视为判别正确,否则为误判。结果

3

如表 所列。 现误判的原因为:有时光线不佳会造成特征点跟踪失败;有些司机受个人驾驶习惯影响,其对转向盘操作的行为与一般规律性不符。

4 结束语

本文提出一种基于转向盘图像的驾驶员疲劳检测方法。首先采用基于转向盘图像来计算转角,进而提取出与疲劳相关的零速百分比和角度标准差两个指标,最后采用处理非线性问题较好的支持向量机融合算法建立了驾驶员的疲劳判别模型。试验结果表明,该模型的

85%,

检测正确率达 检测方法具有操作简单、实用性强、移植性好以及对驾驶员不造成干扰等优点。

参考文献

[1] . [D].付青松 基于量子神经网络的道路交通事故鞠策研究, 2010.重庆:重庆大学[2] , .张志文 张沛晨 基于人眼运动检测的疲劳预警系统研究[J]. , 2015, 23(6):172-174.电子设计工程[3] , , , .刘军 袁俊 程伟 等 基于转向盘转角的疲劳驾驶检测方[J]. , 2016(4):42-45.法研究 汽车技术[4] , , .聂凯 刘文耀 王晋疆 基于图像矩函数的图像清晰度评[J]. , 2013, 26(10):102-110.价方法 传感技术学报[5] . OpenCV [M]. :李立宗 编程案例详解 北京电子工业出版, 2016.社[6] , . SURF P-KLT蔡佳 黄攀峰 基于改进 和 算法的特征点实[J]. , 2013, 34(5):1204-1214.时跟踪方法研究 航空学报[7] , , .张希波 成波 冯睿嘉 基于方向盘操作的驾驶人疲劳状[J]. , 2010, 50(7):1072态实时检测方法 清华大学学报1076. [8] , , .秦洪懋 刘志强 汪澎 基于多通道信息融合的疲劳驾驶[J]. , 2011, 21(2):115行为分析研究 中国安全科学学报119.

图 基于转向盘图像的驾驶员疲劳检测流程

图 转向盘初始图像

Newspapers in Chinese (Simplified)

Newspapers from China

© PressReader. All rights reserved.