自动化测试在SOTIF开发中的应用
尚世亮 崔海峰 郭梦鸽 杨春伟, 201201) (泛亚汽车技术中心有限公司上海 【摘要】为应对自动驾驶给车辆系统安全验证和确认工作带来的新挑战,基于即将发布的自动驾驶安全标准 ISO/PAS 21448《车辆—预期功能安全( SOTIF)》,分析了其对车辆系统验证和确认工作的新要求,基于此开发了一种满足 SOTIF开发需求的自动化测试系统,并利用该系统进行了在环及实车自动化测试,给出了车道保持功能(LKA)的 SOTIF测试和指标开发示例,该测试方法及测试系统为自动驾驶车辆系统的SOTIF开发提供了支持。主题词:自动驾驶 安全 SOTIF 自动化测试U463.61 A 10.19620/j.cnki.1000-3703.20180441中图分类号: 文献标识码: DOI: Application of Automatic Testing in SOTIF Development Shang Shiliang, Cui Haifeng, Guo Mengge, Yang Chunwei Pan Asia Technical Automotive Center Co., Ltd, Shanghai 201201) ( Abstract In order to cope with the new challenges that autonomous driving technology will bring on vehicle system's【 】safety verification and validation, the new requirements of autonomous driving on vehicle system verification and validation were analyzed based on ISO/PAS 21448: 2018 Road Vehicles—Safety of the Intended Functionality (SOTIF) that will be released soon. Based on that, a new automatic testing system meeting SOTIF development demand was developed, which was applied in in- loop and vehicle testing, and SOTIF test and indicator development case of Lane Keeping Assist (LKA) function were given. The testing method and testing system can support the SOTIF development for autonomous driving systems. Key words: Autonomous driving, Safety, SOTIF, Automatic testing
1 前言
目前,自动驾驶汽车的安全问题已成为汽车行业乃至全社会关注的热点。相比传统汽车,替代人类驾驶员工作的自动驾驶车辆系统,其安全风险的主要来源已不再是系统故障,而是系统功能设计不足等导
ISO 26262[
致的非失效风险。为应对这种变化,在 1]定
2015义车辆电子电气系统失效安全技术的基础上,
ISO PAS 21448
年起,国际标准化组织启动了 预期功
(SOTIF)
能安全 标准的制定,旨在指导自动驾驶车辆
SOTIF的非失效安全技术发展。 技术标准着重强调了在各种场景和输入条件下,对自动驾驶车辆系统的验证和确认要求[2]。在实际开发中,如何将这些要求集成到现有开发测试体系中,同时兼顾效率、成本等因素,是汽车企业量产自动驾驶产品前必须解决的问题[3]。 2 SOTIF对验证和确认的要求2.1 SOTIF技术特点SOTIF
是指不存在因预期功能的不足或合理可预见的人员误用导致的整车不合理风险。通常车辆系统开发会基于运行场景的假设,从安全性和已知性角度将运行场景分为已知安全场景、已知不安全场景、未知不4 1安全场景和未知安全场景 个区域,如图 所示。
由于自动驾驶车辆运行场景的复杂性,在开发之1 2 3 SOTIF初,图 中区域 和区域 的比例可能较高,而 技术通过对已知场景及用例的评估,可发现系统设计不2 1, 2足,可将区域 转化为区域 并证明残留区域 的风险3),SOTIF足够低;对于未知不安全场景(区域 技术基于真实使用场景及用例测试、随机输入测试等,可将发现2,
的设计不足转化为区域 同时基于统计数据和测试结3
果,间接证明区域已经控制到一个合理可接受的水平。由此可实现对已知和未知风险的合理控制,完成自动驾驶车辆系统的安全发布。
2.2 SOTIF验证和确认的要求
SOTIF 2 3的验证和确认过程主要是对区域 和区域SOTIF的探测和转化过程。为此, 标准分别针对自动驾驶系统的传感器、控制器、执行器以及集成后的系统和车辆提出了验证和确认要求。相比于传统车辆电子电SOTIF气系统的验证和确认手段,增加了典型的 验证和1
确认方法,如表 所列。 1
表 说明: a. SOTIF
标准强调整车测试和在环测试并重。这是因为在自动驾驶车辆系统的验证和确认过程中,对于2
区域 需要进行大量已知输入和场景组合的测试,依靠3在环测试能显著提升测试效率;而对于区域 中未知输入、未知场景及驾驶员交互影响等,依靠整车测试更易实现,准确性更高。b. SOTIF
标准强调测试的全面性。这是因为自动驾驶车辆系统的测试要确保充分覆盖已知工况和条件,
2
以将区域 减小到可接受的程度,这需建立大量的测试案例。c. SOTIF
标准强调测试的多样性。这是因为自动驾驶车辆系统的测试需要考虑比传统汽车更为复杂的内外部影响因素及其组合,包含噪声、故障注入、随机性测试等,以此充分覆盖组件和系统的运行工况,找出潜在的功能设计不足。
SOTIF
标准要求的测试条目数量众多,并且有相当大一部分是运行条件和接口输入的覆盖性测试,依靠人工测试难以满足当前汽车行业迭代开发的时间需求。为此,必须建立自动化测试系统。 3 自动化测试系统方案3.1 自动化测试系统需求分析自动化测试是通过计算机程序及设备,替代人工完SOTIF
成相关测试工作[4-5],为满足 标准对测试提出的新2 SOTIF要求,需要建立新的自动化测试系统。表 为 测试的需求、自动化测试系统应具备的功能及潜在的解决方案。
3.2 自动化测试系统方案
2 2
根据表 建立的自动化测试系统如图 所示。该系统实现了从测试案例建立到测试脚本的自动转化,并基于上位机自动化测试系统软件程序和硬件测试设备,实现了实车和硬件在环测试平台上的测试自动执行,以及测试结果的自动判断和报告的自动生成。
优势: a.
实现了一个系统同时支持实车和在环测试。传统自动化测试系统大多基于在环测试平台实现。为SOTIF dSPACE
了满足 测试的要求,该系统选用 公司的MicroAutoBox
作为系统载体,其便携性和丰富的接口特点,一方面可实现与在环测试平台的对接,同时也可以方便地连接到实车待测系统上开展实车测试,另外配合AutomationDesk
等工程软件可实现自动化测试。b.
实现了测试案例的自动转化。为实现自动化测试,首先需要将测试案例转化为计算机可自动执行的测试脚本程序。传统自动化测试系统需要预先针对每条测试案例编写测试脚本文件,一旦测试案例发生更改SOTIF就需要更新测试脚本,其效率低,不能满足 测试dSAPCE AutomationDesk
的需要。 公司的 软件采用框架化的测试脚本结构,实现了相似测试案例共用测试脚3 Excel本。基于该软件进行了二次开发,如图 所示,以宏文件的形式将测试案例参数化,通过宏将相关参数及AutomationDesk
控制指令与 软件中建立的脚本框架及Excel软件指令相关联,实现了只要完成测试案例的 文本输入,即实现测试脚本的自动生成,大大提升了自动化测试效率,并且通过扫频函数实现了测试案例在取值SOTIF
范围内自动取值,满足了 标准的全面性要求。 3图 测试案例自动转化过程 c. CAN
支持对 总线信号、弱电信号、强电信号等CAN
多种类型的测试。 总线信号、传感器信号等弱电信号是自动驾驶车辆系统的重要接口,而供电是系统运4
行的重要环境因素。如图 所示,通过开发电气信号注(FIU), MicroAutoBox
入模块 结合 和大功率程控电源,可实现对这些输入的多种模拟测试。同时,配合上位机AutomationDesk
程序,实现跨类型接口的自动化测试。 4 自动化测试示例4.1 自动化硬件在环测试基于某硬件在环测试平台,针对自动驾驶车辆系统5及其组件开展自动化测试,如图 所示。测试过程中可通过上方窗口观察车辆参数和运动状态,通过下方窗口观察自动化测试进程和测试结果。 5图 自动化硬件在环测试 基于硬件在环测试平台的模拟环境条件,自动化测CAN试系统实现了对真实系统 总线信号值及通信保护位的自主定义、对传感器输入信号波形和系统供电电压6
的自主控制,如图 所示,由此实现了针对系统接口的全面化、自动化测试。
4.2 自动化实车测试
实车测试时,由于车辆系统处于真实环境中,相关场景和车辆运行状态不受程序控制。为进行自动化测试,可通过程序中增加预设条件等方法实现,如,当转向
60°
盘转角为 时,自动触发测试程序并判断结果。
(LKA) SOTIF
以车道保持功能 的 测试为例。该功能LKA通过摄像头探测车道线位置,由 控制单元决策和(EPS),发送转向扭矩指令给车辆电动助力转向系统 实LKA现对车道偏离的纠正。为保证 具有足够的偏离纠LKA EPS
正能力,需要 发给 的转向扭矩指令尽可能大; LKA LKA但同时为确保 的安全性,特别是考虑 控制单LKA
元对车道偏离的判断可能不准确时,此时 发给EPS
的转向扭矩指令将会对车辆的正常驾驶造成干扰, LKA
所以 的转向扭矩应处于驾驶员可控的合理范围内,不应过大。为平衡这种矛盾,建立了典型的弯道工
7 LKA况测试场景,如图 所示,以验证合适的 转向扭矩指令门限值。 测试时,驾驶员进行正常转弯操作,由测试系统通CAN 1 N · m) EPS
过 总线按一定步长( 向 系统自动注入LKA LKA
反向的 转向扭矩指令(模拟非预期的 功能),然后监测车辆转向盘扭矩表现,以驾驶员能将车辆继续
8保持在车道线内行驶为安全上限,如图 所示。 3
测试结果如表 所示。测试过程中,驾驶员为抵消LKA
反向 扭矩完成转弯操作,需要施加的转向力矩不LKA 4 N·m
断增大。当 扭矩达到 时,驾驶员仍可将车辆17.88 N·m);控制在车道线内(此时施加的手力矩达到
LKA 5 N·m
当 扭矩达到 时车辆会偏出车道线。为此,选4 N·m LKA
取最大安全扭矩值 作为 功能的扭矩上限。通过该测试也验证了该扭矩上限的安全性。 5 结束语SOTIF作为首个自动驾驶汽车安全技术标准,强调了验证和确认工作对发现系统设计不足、提升产品安全水平的重要作用。为了满足SOTIF开发的需要,同时提升验证和确认环节的迭代效率,开发了一种自动化测试系统。该系统不仅能同时支持实车和在环测试,而且可以实现测试案例的快速建立和自动转化,并支持多种类SOTIF
型的测试,满足了 标准对测试的新要求。参考文献[1] . Road Vehicles—Functional Safety:ISO国际标准化组织26262-2011[S]. 2011. [2] . Safety of the Intended Functionality:ISO/国际标准化组织PAS 21448: 2018[S]. 2018. [3] Mohamed Benmimoun. Effective Evaluation of Automated Driving Systems[C]. SAE Paper 2017-01-0031. [4] , , , .袁永军 刘天翼 王珂 等 自动化测试在硬件在环平台中[J]. , 2013(5): 53-56.的实现方案 汽车工程师[5] , , , . DCT陈志新 曲雪白 张荣辉 等 电控系统硬件在环自动[J]. , 2017(7): 1-4.化测试平台研究与应用 汽车技术(责任编辑 文楫) 2018 8 7修改稿收到日期为 年 月 日。