Automobile Technology & Material
浅析视觉识别系统在总装装配中的应用……………………………………………………………………冯联会 武彬强 丛立国 李余
Brief Analysis of the Application of Visual Identification System on Final Assembly Line
冯联会 武彬强 丛立国 李余130012） （中国第一汽车集团有限公司，长春
摘要：简要概括了工业视觉系统的发展、主要构成和特点，同时借助总装典型应用案例介绍了视觉系统在整车装配领域的应用情况，通过对应用场景的深入研究，分析了不同的视觉系统结构如何在总装装配质量保障方面发挥其重要作用。同时这些视觉系统应用成果也可为其它汽车公司总装生产线视觉应用管理和建设提供借鉴经验。关键词：视觉技术 2D视觉 3D视觉 结构光中图分类号：U468.2+2 文献标识码：B 10.19710/J.cnki.1003-8817.20210290 DOI:
Brief Analysis of the Application of Visual Identification System on Final Assembly Line
Feng Lianhui, Wu Binqiang, Cong Liguo, Li Yu
（China FAW Co., Ltd., Changchun 130012） Abstract：this paper briefly summarizes the development, main structure and characteristics of industrial vision system, and takes advantage of the typical application case of final assembly to introduce the application of vision system on vehicle assembly. By in-depth study of application scenario, the paper analyzes the important role different vision system structures play in final assembly quality. In addition, the results of application of these vision systems can also provide reference and experience for other auto makers regarding vision application management and construction on final assembly line. Key words: Vision technology, 2D vision, 3D vision, Structured light 1 前言
汽车制造领域在制造业中属劳动密集型产业，随着人工成本的不断增加、机器人成本不断下降，工业机器人开始普及应用对汽车制造自动化起到了重要的推动作用，目前冲压、焊装、涂装
3大工艺都有了长足的发展，自动化率都达到70%以上。
唯有总装自动化水平相对较低，行业水平在
10%
左右。究其原因主要有总装结构复杂、装配
零件种类多、差异性大、装配工艺多样等，如拧紧、
80卡接、涂胶、打刻、粘粘等，共计有 多种作业类型。由于生产线多为高产能流水生产线，在此条件下很难大面积普及自动化装配，需针对不同作业类型开发相对应自动化装备。
不同于汽车其它制造领域，总装工艺最大的难题是整车累计误差大，这里所说的累计误差是基于装配和设计基准而言，这种前提下很难像冲压、焊装、涂装那样直接采用机器人进行装配，即便采用也无法满足装配要求。总装最早采用的自
作者简介：冯联会（1968—），男，高级工程师，学士学位，研究方向为汽车制造工艺、发动机制造工艺和整车装配工艺设计、开发与应用。
参考文献引用格式：
冯联会，武彬强，丛立国，等.浅析视觉识别系统在总装装配中的应用[J].汽车工艺与材料, 2021（9）：54-59.
FENG L, WU B, CONG L, et al. Brief Analysis of the Application of Visual Identification System on Final Assembly Line [J]. Automobile Technolo⁃ gy & Material, 2021(9): 54-59.
动装配作业是玻璃涂胶，也是基于玻璃完全静止状态下的自动作业，其七轴方案也是基于轨迹固定下的相对静止装配。要真正实现全自动装配，就要解决装配累计误差问题，而视觉识别技术的出现能完美解决这一问题，通过视觉系统的识别和信息传递，可实时计算与装配基准或特征点的偏差并进行修正，实现精准装配。目前“视觉识别
+
系统 机器人”模式已成为实现总装自动化的核心，随着算法的不断突破这种模式也越来越得到广泛应用。
2 工业视觉系统发展和构成
2.1 工业视觉系统的发展
20 70 90
视觉系统自 世纪 年代起步，到 年代中期获得长足的发展，它综合了光学、机械、电子、计算机软硬件等方面技术，涉及计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。图像处理和模式识别等技术的快速发展也大大地推动了机器视觉的发展。
工业视觉系统其实质就是利用机器代替人眼来做各种测量和判断。在汽车行业随着企业自动化程度的不断提高和对质量更加严格的控制要求，也随着国内工业生产正从依赖廉价劳动力转向更高程度的自动化生产，迫切需要机器视觉来代替人工检测。另外，国内早期的工业设备自动化程度普遍较低，大量的更新换代都加快了对包括机器视觉在内的自动化设备的迫切需求。视觉系统主要优点如下。
a.非接触测量； b.具有较宽的光谱响应范围； c.长时间稳定工作； d.应用领域广泛。
2.2 工业视觉系统的主要构成
工业视觉系统一般包括照明系统、工业相机、摄像系统和图像处理系统等。对于每个应用工况，都需考虑系统运行速度、图像处理速度、使用彩色或黑白工业摄像机、检测目标尺寸、分辨率和对比度等。需要识别的维度较多，从功能上来看，典型的工业视觉系统可以分为图像采集部分、图
1
像处理部分和运动控制部分，如图 所示。
工业视觉硬件主要包括图像获取和视觉处理
2
部分，而图像获取由照明系统、视觉传感器、模拟-
数字转换器和帧存储器等组成。机器视觉通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器能够辨识物体并确定其位置。
3
视觉系统简单来说可以用 个既独立又相互联系的模块来概括，即目标物图像采集、图像处理和指令发出。而视觉系统的设计又可分为软件设
2
计和硬件设计 大部分。
2.3 2D工业视觉系统简介
2D
上述机器视觉通常是指 视觉系统，即通过
1
摄像头拍到 个平面的照片，然后通过图像分析或比对来识别物体，物体平面特征可用于缺失/存在检测、离散对象分析、以及基于边缘检测的各种二维几何分析等。
2D
由于 视觉无法获得物体的空间坐标信息，所以不支持与形状相关的测量，如物体平面度、表面角度、体积或者区分相同颜色的物体之类的特
2D
征等，而且 视觉测量物体特别依赖于光照和颜色/灰度变化，精度易受照明条件等变量的影响。但随着测量精度要求越来越高，被测物体条件越
来越复杂，2D 2D
视觉虽为主流，但同时 系统的缺
陷也愈发突出，为解决这些问题，3D
视觉系统就应
2D
运而生，在提高检测精度的同时能较好解决 中不易解决的复杂问题。
2.4 3D工业视觉系统发展及特点
3D 2D
工业视觉的出现，可在许多 应用有缺陷场景中大显身手，如从黑白到彩色、低分辨率到高
3D
分辨率、静态图像到动态影像，同时行业也认同
2D，其具有
视觉将是人工智能开启的提供者，相比以下优点。
a.能在线检测快速移动的目标物，获取形状和对比度；
b.消除手动检查带来的错误；
100%在线质量控制；
c.实现部件和装配d.最大限度地缩短检测周期； e.最大限度地提高质量和产量； f.易于检查低对比度物体； g.对较小的照明变化或环境光不敏感； h.对于大物检测的多传感器设置更简便。
3 3D工业视觉分类及特点
3D 3D
想真正了解 视觉首先需要了解 视觉的
4 3D
测量原理，目前市场上主流的有 种 视觉技术，
双目视觉、TOF（飞行时间法成像技术）、结构光和
激光三角测量。
3.1 双目视觉系统
3D
双目技术是目前较为广泛的 视觉系统，它
2 2
的原理就像人的 只眼睛，用 个视点观察同一景物以获取在不同视角下的感知图像，然后通过三角测量原理计算图像的视差来获取景物的三维信
2
息，如图 所示。
由于双目技术原理简单，不需要使用特殊的发射器和接收器，只需要在自然光照下就能获得三维信息，所以双目技术具有系统结构简单、实现灵活和成本低的优点，适合于制造现场的在线产品检测和质量控制。不过双目技术的劣势是算法复杂，计算量大而且光照较暗或者过度曝光的情况下效果差。
3.2 TOF视觉系统
飞行时间法成像技术（Time Of Flight，tof）的
原理是通过向目标物连续发送光脉冲，传感器接收从物体返回的光，通过探测光脉冲的飞行时间
来得到目标物距离。TOF
的核心部件是光源和感
TOF
光接收模块，由于 是根据公式直接输出深度信息，不需要用类似双目视觉的算法来计算，具有
响应快、软件简单、识别距离远的特点，而且由于不需要进行灰度图像的获取与分析，因此不受外
TOF
界光源物体表面性质影响，不过 技术的缺点是分辨率低、不能精密成像、而且成本高。
3.3 结构光视觉系统
3D 1 1
结构光技术是通过 个光源投射出 束结构光，这种结构光不是普通的光而是具备一定结构（如黑白相间）的光线，打到想要测量的物体表面，因为物体有不同的形状，会对这样的一些条纹或斑点发生不同的变形，有这样的变形之后通过算法可以计算出距离、形状、尺寸等信息，从而获
3
得物体的三维图像，如图 所示。
3D
由于 结构光技术既不需要用很精准的时间延时来测量，又可解决双目中匹配算法的复杂度和鲁棒性问题，具有计算简单、测量精度较高的优势，而且对于弱光环境、无明显纹理和形状变化的
3D
表面同样都可进行精密测量，所以越来越多的视觉高端应用采用结构光技术。
3.4 激光三角测量法
此种方法与结构光类似，它基于光学三角原理，根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标，具体原理4。
见图
CCD
通常用激光作为光源，用 （电荷耦合器
3D
件）相机作为检测器，具有结构光 视觉的优点，精准、快速、成本低，不过由于根据三角原理计算
CCD
被测物体越远，在 上的位置差别就越小，所以
三角测量法在近距离下的精度很高，但是随着距离越来越远，其测量的精度会越来越差。
4 3D
种主流的 视觉测量原理都有各自的优缺点，但在汽车总装选用哪种最适合，又是如何解决可靠性和准确性的，都需要进行测试后再判定，下面结合总装装配应用场景进行分析说明。
4 视觉系统的实际应用
工业视觉难点在于精度和速度，要求基本都在毫米级或更高级，且总装领域工业机器抓手的变动是在三维空间内。根据功能不同，工业视觉
2
可分为视觉检验和视觉引导 种。
工业视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用工业视觉来替代人工视觉。
4.1视觉系统在总装装配应用实例
4.1.1
视觉在风挡涂胶装配中的应用在总装的前后风挡玻璃、侧风窗玻璃、部分全景天幕玻璃需要涂胶，而且在前后挡底涂工位也需要涂底胶。目前玻璃全自动涂胶已经成为行业主流，在采用全自动涂胶作业时，就需要使用视觉
5
系统进行精定位。图 是装配前后风挡玻璃时车身的精定位方式。5个
在整车自动涂胶过程中视觉系统一般采用
4 2D
视觉装置进行定位，其中四角采用 个 相机进行
3D
视觉进行精定位[1]。另
粗定位，检测机器人采用
3D
外还有视觉 检测系统对在线胶型进行实时检测和视觉跟踪控制。
a.车身的粗定位，用于检测整个车身相对于地
面的位置，并将实际位置与理论位置的偏差值补偿给视觉机器人，用于后续风挡框定位。
b.车身风挡框的精定位，使用激光扫描识别风4～6
窗框处 个特征点，并将结果传递给装配机器人，从而使风挡玻璃准确地安装到车身窗框上，装
配精度可达±0.2 mm。
这里需要特殊说明的是为保证自动装配精度，前后风挡玻璃需建立各自的测量基准零位，即
1 2
个车型需建立 个测量零位，当然共线车型增多，测量零位也随之增加。
4.1.2
视觉在风挡底胶装配中的应用当前风挡底涂也逐步采用自动底涂，在底涂
3D
中一般采用 视觉系统进行底涂引导。具体方
6 7。
案见图 和图另外对于底涂质量状态，也可以采用底涂自8。动检测视觉系统进行检测，见图对于角窗装配涂胶过程采用自动涂胶方案，其常规视觉系统原理与前后风挡基本相同，这些不再
1
赘述，后面会介绍 种全新算法角窗视觉系统。
4.1.3
轮胎自动装配中的应用
2种情况，1
在轮胎自动装配过程中分为 种是
随动装配，1种是静止装配，2
种形式基本都是工业
机器人+3D 3D
视觉系统完成，其 系统安装在机器人的抓手上，通过拍照识别车身轮毂螺栓或轮毂螺纹孔位，通过后台算法自动调整轮胎的孔位与
9
车身安装孔位对正，方案如图 所示。在轮胎装配视觉中最重要是识别特征点，识10
别特征点方法如图 所示。
2
以五孔轮胎为例，其特征点只选取 个孔，通
2
过相邻 孔视觉识别就可精确计算安装孔的位置，完全能保证自动装配精度。轮胎装配采用视觉特点如下。
a.双目视觉； b.特征点选取轮毂上螺柱或安装螺纹孔； c.随行和静止装配视觉识别算法相同。
1
在轮胎自动线，还有 个视觉识别即上料识别，用于轮胎自动上料前的防错识别，在轮胎输送
2D
线对接口增加 视觉，通过对轮毂拍照识别车
MES
型，与 系统车序信息进行对比，进行防错确
MES
认。如果所送轮胎与 系统车型信息不符，系统将报警提醒，保证轮胎上料准确。
4.2 装配检测
装配检测是指对装配后的质量状态进行检查，即外观检测，其视觉也较为简单，自动检测
2D
模式下一般在协作或工业机器人上带 视觉系统，采用与标准状态比对的方法进行自动判别，同时将识别状态进行拍照留存，达成可追溯[2]。
4.3 其他先进3D视觉技术
2D 3D+机随着智能化的不断发展，在现有 或
AI+3D视觉+工业机器人方向发展，其发展器人向方向包含有智能路径规划技术，帮助避免碰撞、奇
异点等[3]
。基于强大的算法，可处理不同物体，亦可应对多种复杂情况，如无序堆放或紧密贴合的物体，反
11光、暗色、附有胶带、条码、图案的物体等。如图所示机器人用于汽车生产制造以及零部件物料分拣，包括搬运（如拆码垛）、上料、拣选、分类、定位、涂胶、装配、拧螺丝、检测等场景。11
图 机器人采用的原理为：计算机会通过传感器（或人工输入）来收集关于某个场景的信息，将此信息与已存储的信息进行比较，以确定它的含义。计算机会根据收集来的信息计算各种可能
AI
的动作，然后预测哪种动作的效果最好。采用
12
算法的零件识别如图 所示。4.4 AI算法下的自动涂胶
前面针对角窗涂胶过程要求三角窗固定在分装台上，如果在多车型混流上线时，其夹具结构更
AI+3D
趋复杂，通过 视觉技术可对角窗任意定位，通过算法计算出涂胶轨迹，精确引导机器人进行涂胶作业，目前此项技术已趋于成熟，已开始成功应用。
AI
另外通过 的算法可实现零件正确上料，如
13
图 所示，在空中采用视觉系统，不用集成在机器人上也可指导零件正确装配。如在轮胎全自动拧
紧生产线中，增加防盗螺栓工艺就可应用此技术完成自动装配。
5 结束语
当前机器视觉仅应用于总装重点工位，实现制造过程实时控制且起到良好的效果。可以预见，在未来的总装装配中，机器视觉会得到更加广泛的应用，不仅用于设备装配、还能广泛用于零件
AI上料防错、装配防错等，通过 软件算法，还能应用于总装随行装配中，实现总装随行装配。
同时视觉系统也是容易被大众接受和运用的系统，在企业对外宣传和企业识别上能产生最有效、最直接的作用。随着视觉技术的发展，未来视觉系统将会越来越被人们所认可并将进一步取代人类的操作，进一步提升工作效率和装配质量，引领汽车总装领域的大变革。
参考文献：
[1] 刘亮. 机器人视觉识别抓取物件[J].
中小企业管理与科技, 2020(36): 180-181.
[2] 袁佩玲, 陈皓, 胡斌.
数字视觉识别在制造现场在线检测中的应用研究[J]. 电子测试, 2020(19): 38+92-93. [3] 黄树琳, 张锋.
基于视觉识别的物料分拣机器人设计[J]. 自动化与仪表, 2019(11): 42-44+61.