线结构光焊接图像去噪方法
马增强1,2
， 钱荣威1
， 许丹丹1
， 杜巍
1
(1. 石家庄铁道大学，石家庄，050043； 2. 石家庄铁道大学，省部级交通工程结构
力学行为与体系国家重点实验室，石家庄，050043)
摘要： 为了滤除焊接过程中大量散射及飞溅焊渣等噪声，提出了一种基于自适应顶帽变换(adaptive Top-Hat transform)的线结构光焊接图像去噪方法. 将噪声图像进行一定范围结构元尺寸的Top-Hat 变换处理，提出了一种评价指标互相关系数(cross-correlation coefficient of image histogram, CCIH)选取得到最优结构元尺寸L . 其次，进行一定迭代次数范围的顶帽变换(Top-Hat)变换处理，并提出一种基于最大类间
方差(Otsu)改进结构相似度(SSIM)算法的评价指标相亮比(ratio of structural similarity index to average brightness ，RSB)选取得到最优迭代次数I . 结果表明，与自适应中值法(median filter ，MF)、全变分法(total variation ，TV)和非下采样轮廓波变换与全变差法相结合的方法(non-subsampled contourlet transform with total variation ，NSCT-TV)相比，该方法在主观视觉效果，信息熵(entropy ，EN)、峰值信噪比(peak signal-to-noi ratio ，PSNR)和均方根误差(mean-square error ，MSE)上均有较大的改善. 噪声得到有效去除的同时图像中的线结构光区域得到较好的保留.创新点： (1) 提出评价指标直方图互相关系数 (CCIH) 选取顶帽变换去噪算法的结构元尺寸L . (2) 提出评价指标相亮比(RSB)选取顶帽变换去噪算法的迭代次数I .关键词： 顶帽变换；焊接图像去噪；互相关系数；Otsu 算法；结构相似度
中图分类号：TG 409 文献标识码：A doi ：10.12073/j .hjxb .20200519002
0 序言
线结构光的视觉传感器在工业焊接中得到了广泛的应用. 在图像的预处理中能否准确提取包含了焊缝特征点的线结构光，影响了最终焊缝特征点提取的精度. 由于焊接产生的噪声不仅具有散射性，而且图像中存在局部高光反射、飞溅焊渣及场景光分布不均匀等问题
[1-2]
，需要进行去噪处理.
目前，焊接图像的去噪模型主要包括两类：空间域去噪和变换域去噪. 空间域去噪模型主要包括均值滤波[3]
、中值滤波
[4]
和双边滤波
[5]
quarrelling等. 采用这
些空间去噪模型时，图像的边缘细节会变得模糊，影响后续焊缝特征点的提取. 全变分(TV)[6]
模型的出现很好地保留了图像的边缘细节，但在图像的内部区域可能会引入模糊效应. 随着多尺度变换的
兴起，变换域模型在焊缝图像去噪中的应用越来越
gre报名网站
广泛. 包括小波变换(WT)[7]，轮廓波变换(CT)[8]
和非下采样轮廓波变换(NSCT)[9]
等，能更有效地抑制噪声，具有更好的边缘细节保护性能. 然而，这种保护能力在处理高维图像时会失效，小波变换仅具有点奇异性，只能捕获有限的方向信息，不能有效地反映丰富的方向纹理，限制了其在图像处理中的应用
[10]
. 虽然这一问题已通过轮廓波变换得到解
决，但会产生吉布斯效应
[11]
.
形态学去噪
[12]
是一门建立在数学基础上的去
噪方法，近年来在图像处理中得到了广泛的应用.它最初是从数学集合论发展而来，用于处理二值图像. 虽然操作简单，但往往能产生良好的效果. 经过推广灰度图像也适用于这种方法，大大提高了形态学在图像处理中的适用性. 而顶帽变换
[13]
作为
形态学的一个经典算法，它能够得到原图中的较亮区域，尤其对于含有激光线条的图像它能够很好的去除光条周围的噪声，同时又能保留光条及光条边缘
[14-16]
. 因此对于一些含有噪声的线结构光焊接图
像，顶帽变换会非常合适. 近年来，许多学者对基于
收稿日期：2020 − 05 − 19
emto
基金项目：国家自然科学基金资助项目(12072207)；河北省高等学校科
学技术研究项目青年基金项目(QN2020155)；河北省研究生专业学位教学案例库项目(KCJSZ2019057).
第 42 卷 第 2 期2021 年 2 月
焊 接 学 报
TRANSACTIONS OF THE CHINA WELDING INSTITUTION
Vol .42(2):08 − 15February 2021
Top-Hat 变换的线结构光焊接图像去噪方法进行了大量的研究. 孙博文等人
[17]
将Top-Hat 变换应用于
图像预处理中，在去除噪声的同时保留了线结构光的完整性，不足的是对于顶帽变换参数如何选取并未做详细讨论. 毛志伟等人
[18]
采用顶帽变换使得
图像中背景变得更为均匀，滤除了大量散射噪声，条纹与背景对比鲜明，更加有利于后续二值化处理，但同样未讨论参数选取问题. 于岩等人
[19]
pets5成绩查询从定
性的角度提出了一种结构元尺寸L 的选取方法，遗憾的是未得出一种定量指标，并且未对第二个参数迭代次数I 作讨论. 针对上述问题，文中提出直方图互相关系数(CCIH)评价指标，得到最优的结构单元尺寸L ；其次，在结构单元尺寸L 最优的前提下，提出一种基于Otsu 改进SSIM 算法的评价指标相亮比(RSB)得到最优迭代次数I . 为了评价文中算法的去噪性能进行了试验验证. 根据主观视觉效果、信息熵(EN)、峰值信噪比(PSNR)和均方误差(MSE)与MF 法、TV 法[20]
和NSCT-TV 法
[21]
进行
了比较.
1 基于CCIH 的结构元尺寸选取
1.1 互相关系数
在数字信号处理中经常要研究两个信号的相似性，以实现信号的检测、识别与提取. 而互相关系数
[22]
就是描述这两个信号相似性的重要公式. 设
x (n )，y (n )是两个能量有限的确定性信号，定义
为x (n )和y (n )的互相关系数. 由许瓦兹(Schwartz)不等式，有
ρxy =1ρxy =0
ρxy
ρxy
分析式(1)可知，当x (n ) = y (n )时，，两个信号完全相关；当x (n )与y (n )完全无关时，；
当x (n )与y (n )在一定程度上相似时，在0和1之间取值，并且x (n )与y (n )的相似程度与数值呈
正相关. 因此可以用来描述x (n )与y (n )之间的相似度.
1.2 直方图的互相关系数
在数字图像处理中一幅图像的直方图横坐标
表示图像的灰度级0～255，纵坐标表示每个灰度级对应的像素点数，因此可以看作是一个256点的离散信号.
Hist I (n )(n 为整数，且0⩽n ⩽255)Hist I (n )(n 为整数，且0⩽n ⩽255)设原图像为S ，输出图像为O ，原图像的直方图为，输出图像的直方图为. 定义
Hist O (n )Hist S (n )为输出图像O 与原图像S 的直方图互相关系数CCIH ，CCIH 在0和1之间取值，其值越小则代表输出图像O 与原图像S 差距越大. 将采用不同尺寸进行顶帽变换后图像的直方图与原图像的直方图进行式(3)计算，即可根据CCIH 的大小来判断两者的相似性，若CCIH 越小则代表两者差距越大，可以认为此时的结构元尺寸L 选取较为合适. 对含有严重噪声干扰的线结构光图像，L 取值范围为3～21 (根据经验设置)迭代次数默认为5时，顶帽变换后的CCIH 如图1所示，从图1中可以看出，当L 为9时CCIH 最小，因此可以认为L = 9在时处理效果较好.
5.0
4.54.03.53.02.52.01.51.00.53
5
douy
7
project c
9L = 9
CCIH = 0.000 34
11结构元尺寸 L
131********
图 1 CCIH 与L 关系图
Fig. 1 Graph of CCIH and L
为验证此指标的选取效果，将L = 9时与其它结构元尺寸下的去噪结果进行对比如图2所示. 从图中可以看出当L = 9时，处理后图像在去除局部高光反射及飞溅焊渣等噪声的同时较好的保留了线结构光条. 当L = 3时，虽然噪声看似得到了全部滤除，但是线结构光部分也被当成了噪声几乎全部泯灭，图像遭到严重破坏. 当L >9时，随着结构元尺寸的增大，噪声开始变得越发明显. 在红色圆标记内，L = 9时几乎看不出噪声，L = 11时开始出现
第 2 期马增强，等：线结构光焊接图像去噪方法9
微小的高光反射，当L 增加到21时噪声变得十分明显. 因此，此指标选取得到的结构元尺寸可以取得较好效果.
2 基于RSB 的迭代次数选取
2.1 结构相似度SSIM
结构相似度 (structural similarity index ，SSIM)
[23]
是一种衡量两幅图像相似度的指标. 该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出.分别从亮度、对比度、结构3方面度量图像的相似性.
设输入图像S ，输出图像O ，尺寸均为H ·W ，两幅图像的SSIM 定义如下.
式中：l 代表亮度；c 代表对比度；s
代表结构，即
C 1C 2C 3C 1=(K 1·N )2C 2=(K 2·N )2C 3=C 2/2K 1=0.01K 2=0.03N =255µS µO δS δO δS O 式中：，和为常数，是为了避免分母出现0的情况，通常取，，(，，)，，分别表示图像S 和O 的均值；，分别表示图像S 和O 的标准方差；表示图像S
和O 的协方差，即
SSIM 的取值范围为[0，1]，数值越大，表示两幅图像越相似. 在图像去噪试验中，SSIM 值越大说明处理后的图像与无噪图像越相似，效果越好. 但文中算法处理的原图像是噪声图像，因此SSIM 值较小时一定程度上说明顶帽变换后图像相对于原图像来说噪声滤除较多，处理效果较好. 经计算得知在顶帽变换处理中迭代次数I 与SSIM 呈正相关，如图3所示列举了在不同结构元尺寸下SSIM 与迭代次数I 的计算关系. 但值得一提的是在迭代次数I 较小时，图像中含有结构光的波峰区域也会被当成噪声滤除，线结构光有效信息遭到严重破坏，I 较大则会影响算法的抗噪能力，不能有效去除焊接中产生的各种噪声干扰. 文中提出一种基于Otsu 的改进SSIM 算法来选取迭代次数I ，并进行了横向对比.
2.2 基于Otsu 的改进SSIM 算法
Otsu (最大类间方差法)
[24]
是由日本学者Otsu
于1979年提出的一种图像分割算法，该算法是在
(a) 原图(b) L = 3(c) L = 9 (文中参数)
(d) L = 11(e) L = 15(f) L = 21
图 2 L = 9与其他尺寸处理效果对比
Fig. 2 Comparison of L = 9 and other sizes. (a) source image; (b) L = 3; (c) L = 9 (propod); (d) L = 11; (e) L = 15;
(f) L = 21
10
焊 接 学 报第 42 卷
判别分析最小二乘法原理的基础上推到得出. 因其高效、精确的分割特性在数字图像处理的二值化中得到广泛应用.
histogram S (k )设输入图像为S ，尺寸为H ·W ，代
k ∈[0,255]表归一化图像直方图，其中. 该算法步骤如下.
第一步：计算灰度直方图的零阶累积矩.
第二步：计算灰度直方图的一阶累积矩.
第三步：计算图像S 整体的平均灰度值mean .
δ2(k )第四步：遍历每一个灰度级k ，计算前景区域平均灰度、背景区域平均灰度与整体图像平均灰度的方差.
δ2(k )第五步：找到使值最大的k ，即Otsu 选取的阈值.
第六步：按照上述公式计算出的thresh 分割图像.
mean v Otsu 算法之所以具有良好的分割效果，究其原因是因为根据最小二乘法计算得到的阈值thresh
精确的描述了前景与背景的分界点，小于thresh 的灰度值为背景，大于thresh 的灰度值为前景，因此在结构光焊缝图像中可以认为大于阈值thresh 的部分为结构光波峰部分，将上述2.1
节中的结构相似性指标SSIM 与结构光波峰的平均灰度值作比，得到一种衡量迭代次数对顶帽变换处理效果的指标相亮比RSB ，即
文中提出的指标相亮比RSB 权衡了去噪效果与线结构光有效信息的保留. 当其取得最小值时，意味着
在最大程度保留线结构光的同时去噪效果更佳，此时对应的迭代次数I 被认为是最优的.
对图2a 原图像，选取上述得到的9*9为最优结构元尺寸，I 取值范围为1～20 (根据经验设置)，顶帽变换后相亮比RSB 与I 的计算关系如图4所
示，从图4中可以看出，当I 取值为5时RSB 最小，因此认为I = 5在时处理效果较好.
trumpf
2
4
6
810迭代次数 I
1214161820I = 5
RSB = 0.001 6
图 4 RSB 与I 的计算关系图Fig. 4 Graph of RSB and I
图5显示了I = 5与其它迭代次数下去噪结果
的横向对比. 从图中可以看出相比较于其它迭代次数，I = 5的去噪图像去噪效果显著，并且线结构光区域保留更加的完整，实现了两者的有效结合，充分说明了此指标的有效性.
八下英语单词3 试验结果
为充分验证文中提出算法的去噪效果，对相机所采集的焊接视频进行拆帧处理，并随机选取4帧进行相应试验. 试验所使用数据均来自实际焊接工况，图像中含有大量局部高光反射、照明分布不均
00
2
4
6
810迭代次数 I
12141618200.10.20.30.40.50.60.8L = 3L = 7L = 11L = 15L = 17L = 21
0.7图 3 不同L 下SSIM 与I 的计算关系Fig. 3 Graph of SSIM and I under different L
mark是什么第 2 期
马增强，等：线结构光焊接图像去噪方法
11
匀及飞溅焊渣等噪声. 所使用的计算机处理器为Intel(R) Core(TM) i7-4720HQ CPU@ 2.60 GHz ，内存为12.0 GB ，操作系统为Windows 10 64位系统，运行平台为Python 3.7.4. 并从主观视觉效果，去噪指标信息熵(EN)、峰值信噪比(PSNR)和均方误差(MSE)将文中方法与MF 法、TV [21]
法和NSCT-
TV
[22]
法进行了横向对比.
3.1 主观视觉效果对比
图6显示了焊接过程中所采集的线结构光含噪图像. 由图可见，图像中不仅有散射，还具有局部高光反
射、飞溅焊渣及场景光分布不均等问题，线结构光条所受噪声干扰较为严重. 对图6所示4幅图像采用文中算法自适应选取得到顶帽变换参数L 和I ，同时为体现参数选取的简洁与直观将其整合进了两张折线图中，结果如图7所示. 图7a 中的红色折线与图7b 中的红色折线相对应，它们共同构成了对图6a 进行文中算法去噪的参数L 和I . 其它折线对应关系与上述一致. 文中所提算法与MF 法、TV 法以及NSCT-TV 法去噪效果的主观对比显示在图8中.
图8为主观效果对比，与其它算法相比，文中所提算法得到的线结构光去噪图像在保留线结构光的前提下，可以去除大量局部高光反射、飞溅的焊渣及场景光分布不均匀等噪声，这是其它算法无法实现的. NSCT-TV 算法对飞溅的焊渣有一定的抑制效果，但对局部高光反射却无能为力，同时得到的线结构光边缘产生了模糊效应. TV 算法同样
(a) 原图(b) I = 1(c) I = 3
(d) I = 5 (文中参数)(e) I = 15 (f) I = 20
图 5 I = 5与其他迭代次数处理效果对比
Fig. 5 Comparison of I = 5 and other parameters. (a) source image; (b) I = 1; (c) I = 3; (d) I = 5 (propod); (e) I = 15;
(f) I = 20
(a) 第 110 帧
(b) 第 151 帧鹓鶵
(c) 第 219 帧(d) 第 239 帧图 6 试验图像
Fig. 6 Images of experiments. (a) No. 110; (b) No. 151;
(b) No. 219; (d) No .239
12
焊 接 学 报第 42 卷
