上海电力大学学报
Journal of Shanghai University of ElecCic Power
第37卷第2期
2021年4月VoU37,No. 2
Apr 2021
DOE 10 . 3969/j. issn . 2096 -8299 . 2021.02 . 018
基于焊缝图像信息的光条纹中心线提取
廉杰1，吕学勤1，顾冬霞2，王敏3
(1.上海电力大学，上海200090 ； 2.国网上海青浦供电公司，上海201700；
3.国网上海市北供电公司，上海200040)
摘要：为准确快速提取不同坡口的焊缝特征信息，采用改进Steger 算法在滤波去噪后的二值图像中提取出
光条纹中心线。首先，将原图像与Otsu 法相结合得到包含所有结构光条纹的矩形区域，利用高斯函数的可分 离性将图像的二维高斯卷积进行简化，用一次高斯行卷积和一次高斯列卷积进行替代，从而减少运算量。由
实验结果可知，改进后的算法不仅能更加准确地提取焊缝光条纹中心线，而且能够提升运行速度，满足实时性 的要求。
关键词：焊缝识别；光条纹中心线；特征提取
中图分类号:TP249；TP391.7 文献标志码：A 文章编号：2096 -8299(2021)02 -0195 -05
Extraction of Lar Stripe Center Line Bad on
Weld Image Information
LIAN Jie 1, LYU Xueqin 1, GU Dongxia 2, WANG Min 3
(1. Shanghai University of Electric Power , Shanghai 200090, China ；
2. Stt Gri Shanghai Qingpu Electric Power Suppfy Company , Shanghai 200000, China ；
3. Stat Gid Shanghai Shibei Electric Power Supply Company , Shanghai 200040, China )
Abstracr : In order to accurately and quickly extract the weld feature information of dCferent
groov/s , th/improv/d Stg/ralgorithm isus/d to /xtractth/las/rstrip/c/ntrlin/from th/fil-
Cred binay image. Firstly , the ROI region is obtained by combining the original image with the
thresho'd method.Then , according to theparabiity ofGau s ian , thetwo-dimensiona'Gau s ian convo'ution oftheimageiquivaentto aGau s ian row convo'ution and aGau s ian co'umn con-
vo'ution , so asto reducetheamountofcomputation.Theexperimenta'resu tsshow thatthewe'd
recognition a'gorithm can accurate'y extractthewe'd arstripecenterine , and can improvethe proce s ing speed to meettherea-timerequirements.
Key wordt ： we'd recognition ； arstripecenterine ； featureextraction
焊接信息的自动提取对于实现焊接自动化有
的焊缝识别技术的不断深入发展，其速度和准确
着至关重要的作用。目前，随着基于视觉传感器 性不断提高，应用范围也越来越广。其中，由电荷
收稿日期： 2021-01-06
通信作者简介：吕学勤(1974—)，女，博士，副教授。主要研究方向为燃料电池混合动力驱动移动机器人系统的
智能控制 & E-mail : lvxueqin@ shiep. edu. cn &
基金项目：国家自然科学基金(51405286)；上海市重点实验室电站自动化技术实验室项目(13DZ2273800)。
196上海电力大学学报2021年
耦合元件(Charge Coupled Device,CCD)摄像机和激光组成的激光视觉传感器，具有结构简单、测量精度高等特点，因而在焊接自动化领域得到了广泛应用〔门。激光视觉传感是通过由结构光投射在焊缝表面而形成激光的条纹，获得焊缝宽度、深度等轮廓信息的一种技术)2*&为了能够准确地提取焊缝特征信息，需要首先获取光条纹中心线，然后对其进行进一步的特征分析和处理，从而获得精确度更高的特征信息。
SUNGK等人〔3*考虑到图像处理时间有限，对激光进行了预处理，将其转换为5条激光线，并计算每个像素列中的激光强度，选取平均强度最高的峰值组形成一组激光线，然后通过分割和合并得到特征点。但是其激光线提取的精度不高，最终会影响图像特征点的提取精度。CUIHR等人［4*采用Steger算法获取光条纹中心线，有效地提咼了提取结果的准确性。
Steger算法〔5*是一种被广泛采用的亚像素中心线提取算法，具有很高的精度，其原理是通过Hessian矩阵和泰勒展开求得光条横截面上一阶导数过零点，然后计算得出光条纹中心线位置。但是，在连续的焊接工作中，会产生大量需要识别的焊缝图像，而对于每一个焊缝图像来说，计算Hessian矩阵意味着对每个点都需要进行至少5次大模板的二维高斯卷积运算，导致焊缝信息识别的计算量很大，无法满足提取光条纹中心线的实时性要求。因此，研究人员对该算法进行了改进。南方等人［6*基于Steger算法，通过随机Hough变换得到边缘区域的边缘线，然后根据宽度值对边缘区域进行分割，通过设置合适的参数来提取光条纹中心线。该方法在一定程度上提高了计算速度，但仍有改进的空间。
综上所述，在基于机器视觉的焊缝识别方面，相关学者贡献了一些非常优秀的研究成果，但仍存在算法计算量大、无法满足实时性要求的问题，且算法在提取焊缝特征信息的精度方面仍有欠缺。为了提咼实时性和准确性，本文提出了基于改进算法的焊缝光条纹中心线提取方法。
1机器人焊接系统
本文采用基于视觉传感的机器人焊接系统，主要由机器人本体、视觉传感器、计算机控制平台等部分组成，如图1所示。
排骨怎么炖才好吃系统采用十字滑块作为焊接机器人的机械臂，将激光视觉传感器系统刚性固定于焊枪的前部，且使线激光器与CCD摄像机的中心线在同一平面内，呈小于90。的夹角，则此时摄像机刚好可以完整拍摄到待焊接工件上的激光条纹：7*& CCD摄像机采集到的焊缝图像被传回计算机控制平台，经过一系列的图像处理，提取出焊缝的宽度、深度等特征信息后，根据相关工程设定，向机器人执行机构发出控制指令〔8*&通过激光视觉传感器的引导，焊接机器人可以实时跟踪焊缝，完成焊接任务。
焊接命令
计算机控制
焊缝图片
机器人控制
焊缝位置
焊接系统
图1基于视觉传感的机器人焊接系统
焊缝图像的处理一般分为预处理和后处理两部分。工业环境中，受焊接导致的飞溅、烟尘及电噪声等因素的影响，摄像机采集的图像中会包含大量的噪声信号。通过滤波去噪等预处理操作，可以有效地去除噪声信号，获得更为真实的图像信息〔'而后处理的任务则是提取滤波后图像的宽度、深度等特征信息。图2为CCD摄像机采集的V型焊缝图像。
图2V型焊缝图像
2图像特征提取及实验验证
2.1图像预处理
中值滤波作为一种常用的平滑滤波方法,
能
廉 杰，等：基于焊缝图像信息的光条纹中心线提取
197
mw313r够在有效消除图像噪声的基础上，很好地保护原 始图像信号)10*
&其定义为
S i ,j
=S med [ V i ,j ] A S med [ V i +m ,j +n ；( O ,$$
+
[-歸],$+ [-f , f ]
(! $
式中：S ,——窗口 ]中的全部像素灰度值的中
值；
S med ----------求取中值运算；
X i ——中心坐标(0$处的像素值；
(°,y $---图像像素坐标；
]—图像中选取的窗口部分；
L,H —窗口的水平和垂直长度，一般为奇
数。
图3为中值滤波后的V 型焊缝图像。
图3中值滤波后的V 型焊缝图像
在诸多的图像分割算法中，Otsu 法能够较快 地自动筛选出最佳阈值，并根据最佳阈值来实现
图像的二值化。该算法计算简单，能够克服亮度
和对比度造成的影响，是阈值选取的最佳算
法〔⑴。本文采用Otsu 法分割图像，确定其最佳 阈值的公式为
6 AS ma X [ W #( /( 4。( / - 4$ $ +
W1 (/ (4 (/ -4 $ $]
(2)
41 一#目标图像的灰度均值。
当6取最大值时，/即为最佳的分割阈值。
图4为焊缝图像阈值分割后的结果。由图4可以
看出，阈值分割后的图像清晰，所需特征信息都保
存完整，且无明显的噪声区。
式中：6——-背景与前景之间的类间方差；
肾虚吃什么最好S -max
求取最大值运算；20
—背景图像在整体图像灰度中的占比;/——分割阈值；
40—背景图像的灰度均值；4###整体图像的灰度均值；
W ]——
—目标图像在整体图像灰度中的占比;
图4焊缝图像阈值分割后的结果
2.2改进Steger 算法提取光条纹中心线
传统的Steger 算法可以精确地求出光条纹中心
线的位置，并且达到亚像素精度。首先由Hessian 矩 阵得到光条纹的法线方向，然后在法线方向上利用
泰勒展开求导，即可求得中心位置⑸。对于图像中
光条纹上的任意一点(o,y), Hessian 矩阵可以表示
为
疑难病例讨论
_ Fg (o ,y )(o ,y $ _
H $
)0 dxdy *
)g (x ,y $ ) g (x ,y $- dxdy )y $ -+ x ,y $ A
[
)x )y
]
(3)
L )y )y 」
式中：g ( x ,y $——高斯函数；
*----卷积运算符；
+(x ,y $----图像中坐标为(x ,y $点的像素；)x ，)y , )y ——光条纹图像沿相应方向的二
阶偏导数。
求解Hessian 矩阵是一个运算量很大的过程, 主要原因是需要在整个图像范围内，对所有的点进
行复杂的大模板的二维高斯卷积运算5次以上。
对于工业要求下的焊缝信息获取，采用传统SWgs
算法很难实现快速提取包含焊缝轮廓的结构光条
纹中心线，使得整个特征提取过程的实时性受到极 大影响。因此，需要根据焊缝图像的特点，对传统
Steger 算法进行改进，以提高算法的速度。
由于结构光条纹为一条曲线，在整幅图像中 所占的像素数很少，且与背景的像素灰度值相比,
其灰度值很高，具有明显的差异。为了减少运算
量，提高运算效率，设置固定边长的矩形方框，将 图像进行网格化处理，分割后的图像如图5所示。
对每个方框取灰度均值，判断该区域是否有结构 光条纹所在的像素点，提取出所有包含结构光条
纹的矩形框，使其并集能构成完整的结构光条纹
198上海电力大学学报2021 年
图像)12*
&此时，只需要对提取的矩形区域进行高 斯卷积即可，有效地避免了对非感兴趣区进行大 量的不必要的高斯卷积运算&
图5焊缝图像矩形网格分割示意成绩统计
由于高斯函数具有可分离性，故可将图像的二 维高斯卷积进行简化， 用一次高斯行卷积和一次高 斯列卷积进行替代，从而降低运算复杂度［⑶。当 二维高斯模板的大小为n 2 n 时，对其进行一次二 维
卷积的运算量为n #次乘加，而两次一维卷积的 运算量为2n 次乘加，可以看出，卷积的运算量大幅 减小。另外，微分形式的高斯卷积核也具有可分离 性，可以进行简化替代，简化后的公式为
”
gx(x ，y ) A g'(O g (y ) gy(°,y $ A g (o
)g'(y )
< g O o ,y ) A g"(o )g (y )
(0
)
g xy (x,y ) A g'(
x)g f(y ) I g yy (x,y ) A g (x)g ,,(y )
式中：g x ，g y ，g xx ，g xy , gyy ---二维高斯核函数；
g r (x ), g'(y ) , g 〃( x ) , g'f (y )------维高斯
核函数。
根据上述分析，对原算法进行改进，对图像的
5次二维卷积可以转化为10次一维卷积。此时， 图像中一个像素点的卷积运算量将由直接计算二 维卷积的5n 次乘加降低为10n 次乘加，对分辨 率为M 2 M 的图像采用大小为N 2 N 的卷积模板 运算的计算复杂度从0( 5 2M 2 M 2 N 2 N )降到 0( 10 2M 2M 2N )，处理速度大幅提高&
2.3实验验证
采用精度较高的灰度重心法与本文所提出的改
进算法同时进行光条纹中心线提取，结果对比如图6 所示。由图6可以看出，在V 型焊缝处，采用灰度重 心法提取到的光条纹中心线存在多次跳变，并产生
了 3个间断点；在I 型焊缝处，用灰度重心法提取到 的光条纹中心线存在一处跳变；对于两种类型的焊 缝，采用本文改进算法提取到的光条纹中心线均没 有明显的间断点，整体也更为平滑，更能准确反映光 条纹中心线的特征，降低特征提取误差&
为检验本文算法的提取速度，对本文算法、灰
度重心法、传统Steger 算法分别进行运算时间的测 试,3种算法的平均耗时分别为29 ms , 12 ms , 193 ms &可见，本文算法提取速度快于传统SWgs 算法，接近于灰度重心法的速度。在保证提取质量 的基础上，本文算法满足了实时性要求。
图6
两种算法提取的光条纹中心线
廉杰，等：基于焊缝图像信息的光条纹中心线提取199
3结语
为了保证焊缝坡口特征信息提取的准确性，同时提高提取速度，对基于激光视觉的焊缝图像光条纹中心线提取进行了研究。建立了基于激光视觉传感的焊缝坡口图像识别系统，对典型的V 型和I型坡口的焊缝光条纹中心线提取方法进行了测试和对比。改进后的Steger算法不仅能准确地提取出光条纹中心线，而且提取速度可以满足实时性的要求。
参考文献:
)1：王裕东，吕学勤，汤宇豪，等.基于双目视觉的焊缝图像立体匹配)J*.上海电力学院学报,2019,35(2)：175-180.
)2：孙博文，朱志明，郭吉昌，等.基于组合激光结构光的视觉传感器检测算法及图像处理流程优化)J*.清华大学学报
(自然科学版),2019,59(6)：445-52•
)3]SUNG K,LEE H,CHOI YS,et al.Development of a multiline lar vision nsor for joint Sacking in welding)J*.
Welding Journal,2009,88(4)：79-85.
)4*CUI HR,GUO C F,LAN S L.3D reconstruction for underwater target bad on linear structured light)C*//2014Inter
national Conference on Applied Mechanics and Materials•
被蛇咬Macau,China：AMMA,2014：660-664
)5*STEGER C.Ex—acting curvilinear strucWres:a deferential geome—iz approach)C*///uropean Conference on Computer
Vision.Berlin,Germany,1996：630-641.
)6*南方，李大华，高强，等•改进Steger算法的自适应光条纹中心提取)J* •激光杂志,2018,39(1)：85-88.
)
7*郭亮，张华•狭小空间不连续折线焊缝识别移动机器人跟踪系统)J*.机械工程学报,2019,55(17)：8-13.
)8*LI S,WANG G,ZHANG H,et al.Design of robot welding am Sacking system wiC structured light vision)J*.Chine
Journal of Mechanical Engineerng,2010,23(4)：436-42.
)9*XIAO Z.Rearch on a Wlines lar vision nsor for am Sacking in welding)C*//TARN T J,CHEN S B,FANG G.
Robo—z Welding,Intelligence and Automation.Berlin,
Germany：Springer,2011：139-144
赤裸的秘密
)10*孙东阁，陈辉•基于ASIFT改进算法的无人机图像特征匹配方法研究)J*.上海电力大学学报,2020,36(3):275-79.
)11*姚洋，彭道刚，王志萍•基于改进Canny检测与Hough变换的仪表图像识别算法)J*.上海电力大学学报,2020,
36(2)：183-189
)12*冯瑶，刘宁，冯亚崇.一种针对造影图像中血管狭窄的自动识别技术)J*.生物医学工程学杂志,2013(2)：380-86.
)13*周富强，陈强，张广军，等•结构光光条提取的混合图像处理方法)J*.光电子激光,2008,19(11):1534-537.
(责任编辑白林雪)
(上接第194页)
参考文献：
)1*郑明光，叶成，韩旭•新能源中的核电发展)J*.核技术，2010,33(2)：81-6.
)2*叶奇蓁•中国核电发展战略研究)J*.电网与清洁能源，2010,26(1)：3-.
)3*鲁刚，郑宽•能源高质量发展要求下核电发展前景研究)J*.中国核电,2019,5(12)：498-C02.
)4*伍浩.集群式开发是我国核电发展的方向一#基于能源发展数据研究)J*•中国能源,2019,41(12)：4C1.
)5*王骏.考虑核电调峰运行的电力系统优化调度模型研究)D*.武汉：武汉大学,2018.
)6*李旭东•含高比例非常规机组的多元电源联合调峰策略研究)D*.北京：华北电力大学,2019.
)7*周涛，张旭波，陈娟，等•AP1000核电站外部不经济性研究)J*•技术经济与管理研究,2011(12)：73C6.
)8*SUN B乙YANG Y.Numescall y investigating t—e influence of Wbe suppoa plates on t—ermal-hydrauliz characteestics in a
steam generator)J*.Applied Thermal Engineering,2013,
51(1/2)：611-622
)9*江嘉铭，黄淑龙，吴文杰，等•一体化核反应堆蒸汽发生器初步换热分析)J*.核科学与工程,2019(4)：511-320.
)10*阮辰鹤•带有支撑板的蒸汽发生器传热管热流固耦合分析)D*.北京：华北电力大学,2018.
)11*刘建全，石竟达，张柳柳，等•基于MATLAB的AP1000核电机组反应堆DNBR特性研究)J*.上海电力学院学报，
2015,31(6)：505-310.
)12*刘亮，周涛，宋明强.AP1000与大亚湾核电站蒸汽发生器的对比与分析)J*.华东电力,2013,41(2):417-19.
)13*赵宪萍，刘帅，牛永哲，等•核电站立式蒸汽发生器水位动态特性模型)J*.上海电力学院学报,2012,28(3):213-216.
)14*蒲亮•基于炖成本理论的核电机组优化运行管理系统研究)D*.北京：华北电力大学,2014.
)15*于晶•核电二回路热力系统热经济学分析及优化)D*.
哈尔滨：哈尔滨工程大学,2014.
只是因为你(责任编辑胡小萍)
