总第305期
2021年第5期HEBEI METALLURGY
Total No. 305 2021，N u m b e r5
基于光度立体的钢轨表面三维重建方法
徐科1，甘伟2，焦建朋2，张俊升1，朱华林2，周东东1
(1.北京科技大学钢铁共性技术协同创新中心，北京1〇〇〇83;2.河钢集团邯钢公司大型厂，河北邯郸056015 )
摘要：针对钢轨复杂曲面的特点，设计了环形频闪的照明方案，利用7台线阵相机完成钢轨完整表面图像的采集；建立钢轨表面点云模型，根据钢轨基本形状重新标定光源方向，计算钢轨表面法向量，从而正确重构钢轨三维表面；提出引入点云配准消除运动方向梯度误差的方法，提髙钢轨表面三维重建的精度。利用重建得到的钢轨表面三维模型进行表面缺陷的宽度和深度测量，平均相对误差为7.23%，证 明该方法可用于钢轨表面缺陷的三维在线检测。
关键词：光度立体；钢轧；表面缺陷；三维重建；环形频闪；点云配准法
中图分类号：T G334.9 文献标志码：A 文章编号：1006 -5008(2021)05 -0018-05
d o i：10. 13630/j. cnki. 13 -1172.2021.0504
3D RECONSTRUCTION OF
STEEL RAIL SURFACE BASED ON PHOTOMETRIC STEREO Xu Ke1, Gan Wei2，Jiao Jianpeng2，Zhang Junsheng1，Zhu Hualin2，Zhou Dongdong1 (1. Collaborative Innovation Center of Steel Generic Technology, Beijing University of Science and Technology, Beijing, 100083；2. Large Scale Plant of HBIS Group Hansteel Company, Handan, Hebei, 056015) Abstract：The scheme of ring stroboscopic lighting is designed according to complex curved surface of steel rails, and the complete surface images of steel rails are captured by ven line -scan cameras. The point cloud model of the steel rail is established, and the direction of light source is recalibrated according to basic shape of the steel rail. Then, the normal vector of rail surface is calculated and the three -dimensional rail surface is accurately reconstructed. A method of point cloud registration is propod to eliminate the gradient error of motion direction, and the accuracy of 3D reconstrcution is improved. The reconstructed 3D model of the rail surface is ud to measure the width and depth of the rail, and the average relative error is 7. 23% . The experimental results show that the method is a
pplicable for online 3D detection of rail surface defects. Key words： photometric stereo；steel rolling；surface defects；3D reconstruction；ring stroboscopic；point cloud registration method
〇引言
表面质量是钢轨质量评价的重要指标之一，对 钢轨服役寿命及铁路安全运营至关重要。随着我国 高铁网的密集建设，对钢轨质量的要求也越来越高。钢轨表面常见缺陷主要有两类~，一类是深度变化 明显的缺陷，如轧痕、轧疤缺陷等；另一类是深度变 化不明显的缺陷，如表面夹杂或封闭式缺陷等。目前，钢轨表面检测方法主要为人工目测法、电涡流
收稿日期：2020 -丨2-12
胎儿窒息基金项目：国家自然科学基金（编号:51874022)
作者简介：徐科（1972 -)，男，教授，主要研究方向为人工智能及机器视觉应用，E - mail:xuk e@ustb. edu. cn 法、超声检测法、磁粉法、漏磁法、红外线检测法、机 器视觉法等[2]。其中，人工目测法为传统的钢轧表面缺陷的检测方法[3]，检测精度差，严重制约着钢轨的生产效率及稳定性，同时也无法建立钢轨全生 命周期的质量管控系统。机器视觉法利用图像处理 和模式识别方法实现钢轨表面缺陷在线检测，具有 速度快、成本低、检测结果直观等优点，因此本文选 用机器视觉法在线检测钢轨的表面缺陷。
张继的简介
国内外很多学者对钢轨表面缺陷检测方法进行 了研究，大部分研究集中在钢轨二维检测方法。其 通过相机采集目标表面的二维图像，分析缺陷信息，进行缺陷分类和检测[4]。该方法处理数据较少，处
18
河北冶金2021年第5期
理速度比较快，缺点在于部分钢轨表面缺陷二维特征信息相似，深度信息差别较大，且相机在钢轨轧制 线上采集图像时会受到环境的干扰而产生畸变，导 致二维检测方法不能满足检测要求。由此部分学者 采用基于三维特征信息检测钢轨的表面缺陷，常见 的三维检测方法有结构光法[4]、轮廓坐标法[5]、单 激光线法[6]、相位测量轮廓技术（PMP)m等。对于 深度变化不明显的缺陷无法只依靠三维检测方法[8]，因此又有学者提出采用二维与三维相结合的 方法进行钢轨表面缺陷的检测W，该方法可实现二 维缺陷与三维深度缺陷的同时检出，提高缺陷检测 的准确率。光度立体法对图像利用率高[1°]，能获得 稠密向量场和丰富的三维细节，可通过矩阵方程进 行线性求解，在保证光源方向非共面的情况下得到唯一解，不需要苟刻的附加条件。同时，为了更好地 适用于不同类型的工业现场三维检测要求，部分学 者对光度立体法的光源标定[11]、非朗伯体重建[12]、梯度重构深度:13]及方法融合[1<]等方面进行了改进。
综上所述，本文设计了环形频闪的照明方案，利 用七台线阵相机完成钢轨完整端面的图像采集。在
此基础上，为了准确表征钢轨的三维缺陷特征，建立 了钢轨表面点云模型，根据钢轨基本形状重新标定光源方向，计算钢轨表面法向量，引人点云配准消除 运动方向梯度误差的方法，从而高精度地重构钢轨三维表面，利用此三维模型进行表面缺陷的宽度和深度测量。
1实验平台与实验方法
实验用钢轨样本来自河钢邯钢大型厂250 mm 长的标准60 kg/m钢轨，在轨腰处存在深度不一的字符及典型的凹坑缺陷^实验平台见图1，该平台 由两个环形光源、七个工业相机、步进电机、频闪控 制器、计算机等共同组成。光源由两个半环形组成，图1中展示的环形光源仅为上半环。在设计时充分 考虑了光源直径和放光角度对图像采集的影响，使 光场与相机视场能较好地结合，以清晰地采集钢轨 的表面图像。选用4K像素的线阵相机，像元尺寸 为7.04 ijun，最大帧率为26 kHz，数据接口类型为千 兆以太网。电控平移台采用线性圆导轨作为承载导 轨，可承受更大的负载，距离更长且运行平稳。本实 验台的图像采集精度为0.5 mm/pkel，钢轨在线运 行时速度最高可达2 m/s。
图像采集流程如下：计算机控制步进电机连续
带动待测钢轨运动的同时，同步控制工业相机采集
位于视野的当前帧。当待测区域进人相机视野时，其表面被照明系统照亮，相机采集待测表面图像并存储。
图1钢轨表面缺陷检测实验平台
Fig. 1Experimental platform for ra i l surface defect detection
2 光度立体三维重建方法
双光源光度立体拉伸曲面模型见图2。以相机 光轴为坐标系Z轴；被测柱面体轴线为坐标系Y 轴；线阵相机采集方向为X轴；被测点为坐标中心〇；光源轴线B、G均与X轴平行，并关于X - Z面 对称，距离X-Y面为h，面X-B、X-G与面X- Y的夹角均为6»；倾斜基面过Y轴并与X - Y面夹 角为a；被测表面局部绕X轴的倾角为5。
图2双光源光度立体拉伸曲面模型
Fig. 2 Stereo stretching surface
model with double light source photometric
双光源光度立体法从彩色图像中分离出2个色 光对应通道的灰度图像，分别为I，和12:
(P i E i C^x P +l ly? -1|Z)
^p2 + q2 +1
(P2E2(I2xp + l2yq -l2z)
•Jp2 +q2 +\)
大象简笔画(1)
19
作文自评
总第305期HEBEI METALLURGY
求解得到y 方向梯度q :
‘ /仏-足）
…
^
c o t a (^T T J
(2)
运用光度立体法求取曲面法向量，再利用法向 量计算出曲面深度，可求解出物体表面三维形貌信
息。一般采用全局迭代优化法进行三维重建，通过
优化当前迭代深度矩阵或对应的梯度矩阵与前一步 迭代深度矩阵或梯度矩阵的差异缩小到允许范围。 每次迭代的梯度变化函数见式（3)。
F {P ,^) =11 ( i p (j ,i )
I 2 + l 2) djdi (3)
式中，
为当前深度对应的梯度矩阵，（P ,
代的深度变化函数用式（4)表示：
9)为上一步迭代的深度矩阵对应的梯度。每次迭
F (t ) = //(!£〇■,〇
\2)djdi (4)
式中，
为当前某点深度值，z U J )为上一算法：
步迭代某点对应深度值。某点深度的第《次迭代
(j ,i ~ 1) ~p (j ,i - 1) ] +
4
+ ^-[zim ~')(j ,i + \) +P (j ,i )]
[zim -l)(j + \,i ) +q (j ,i -D ]
(5)
上式，(_/_，/)表示《次迭代时点(），；）处对应的 度矩阵与光度立体法求取的梯度矩阵处于误差允许深度值。通过m 次迭代，直到其深度矩阵对应的梯
范围。对于Ax w 的图像，其对应梯度误差函数为：
1 . J /
(dz(j\l)) -p U J ))2 +
didj
(6)
(w x h )
dl
dl
在钢轨运动方向上，由于现场需要连续采集， 而光源脉冲触发时，光强会发生波动，帧间相机响 应存在或大或小的差异，导致光度立体法估算法 向量产生梯度误差。而连续重建多帧图像，梯度 误差会逐步累积，导致钢轨运动方向上重建结果 存在偏移，因此本文引人了点云配准方法。在已 知初始变换矩阵的基础上，通过迭代最近点算法
(Iterative Clost Point ，ICP )或其变种算法得到精
确解。IC P 算法通过计算源点云与目标点云的距 离，构造旋转平移矩阵，完成对源点云的变换，并 计算变换后的均方差[15]。若均方差满足阈值条 件，则终止迭代，否则继续迭代至满足阈值条 件:16]。已知当前待配准点云P =丨仏=(H
.,
;)1，参考扫描点云2=1<7,.=(七，>|;，2,.)丨，求解
刚体变换矩阵T * =丨r ^
，得：
l 〇r
1J
argminS ce；y (〇 e J t ) = argminI c (- ^) (tp ,-qj )
(7)
式中，/?为旋转矩阵，f 为平移向量，〜为误差度 量，
人口数
1 (~_)…丨表示对应点集合，点凡对应点t 。本文所述的光度立体法包含标定、图像采集、倾 角测量、三维重建4个过程：
(1)
测量前预先标定：采集系统几何参数，包括
光源位置、相机图像分辨率等；光源的亮度参数，包 括配光曲线、感光系数等；标定被测柱面的基本形 状，在其切面上建立倾斜基面。
(2) 图像采集时，使用线阵相机采集图像，分离 图像中与光源对应的的图像通道。
(3) 在倾斜模型中，根据2个通道的图像连同 标定产生的参数一起计算表面倾角，给出表面梯度
矩阵。
(4)
以表面梯度和柱面基本形为优化条件，得 到高分辨率的柱面深度矩阵。
3
结果与讨论
3.1钢轨基本形及光源标定
在Solidworks 中建立钢轨模型并导出为点云格 式，将钢轨表面轮廓分为4个部分进行建模，计算出
的钢轨断面方向梯度即为钢轨基本形梯度（图3)。 设计光源人射到钢轨表面的角度为4 5 °，2个光源对 称。而钢轨的基本形状对光源的人射方向进行了调 制，因此需要重新计算调制后的光源方向，以获得正 确的表面梯度，重建钢轨表面。前期大量实验表明， 钢轨表面轨顶、轨腰的法向均有明显变化，而轨底为 平面，不会对人射光源方向进行改变，故只需研究轨
顶和轨腰的人射光源方向。由于光源的实际人射方 向与设计方向差别较大，若继续采用设计光源方向
进行计算，必会带来误差，因此本研究中先对光源进
行重新标定。
20
河北冶金
2021年第5期
图3钢轨基本形梯度图
Fig. 3 Gradient m a p of ra i l basic shape
3.2累积梯度误差消除
钢轨运动到检测系统位置时，由于其本身存在 刚性，钢轨的左右偏移和上下震动具有一定的时间 连续性，即连续帧间的点云变换矩阵具有一定的规 律性。而标准的ICP 算法的迭代速度易受初始变换 矩阵的影响，初始变换矩阵越精确，迭代次数越少， 配准效率越高。本文对点云配准流程进行了优化， 将当前帧的变换矩阵R 和？引人到后一帧的初始输 入，在保证配准精度的前提下，达到快速计算的目
的，减少迭代次数，提高配准效率。引人点云配准后 的结果见图4。采用Matlab 计算机视觉工具箱对
F 0Z 坐标系点云坐标进行配准，点云帧数为800帧，
单帧点云约含992个空间点，总点云约含727 207个 空间点。在同样的实验条件下，800帧点云配准时 间减少到9 s ，平均每帧11.25 ms ，每秒配准88帧， 配准速度较改进前提高了 1倍。实验表明，该方法 在一定程度上可以消除累积误差，提高钢轨三维重 建表面的真实性。
(c )配准后的钢轨表面点云
(b )标准钢轨表面点云
图4钢轨表面点云配准结果
Fig. 4 Registration results of ra i l surface point - cloud
3.3 三维重建结果分析
依据前面提出的光度立体法对钢轨表面进行三 维重构，将钢轨上的热打印字符纳入缺陷的范围，重 建结果见图5。从图5中可以看出，采用点云配准 的方法，一定程度上可以消除累计梯度误差，使重建
结果更符合实际情况。重建钢轨表面既体现了钢轨 的宏观特征，又能表现钢轨的纹理细节。而在钢轨 表面设置无深度白色标签和字符没有影响重构结 果，说明该方案具有一定抗干扰的能力。
21
总第305期HEBEI METALLURGY
图5钢轨表面三维重建结果
Fig. 5 3D reconstruction results of r a i l surface
为了确定光度立体法重构钢轨表面三维的准确 性，与结构光法测得的缺陷深度值进行了对比，发现
光度立体法测得的缺陷深度最大相对误差为 16.0%，最小相对误差为1.9% ；字符最大相对误差 为13.25% ，最小相对误差为3.0%。平均相对误差 为7.23% ，平均绝对误差为0.049 56 mm ，深度误差 能够满足钢轨生产现场的检测要求，说明基于光度 立体的钢轨表面三维检测方法可以用于钢轨表面缺 陷的三维在线检测。4
结论
(1)
设计了环形频闪照明方案和图像采集方 案，利用两组环形光源交替频闪的方式，实现光度立 体法在钢轨表面三维检测上的应用。该方案能采集 到完整的钢轨表面图像，且图像质量好。
(2)
提出了适用于异形表面的光源方向标定方萝卜人
法，能够实现钢轨表面的完整重建，符合实际情况。 该方法引人了基本形的概念，将钢轨的基本形状应 用到光源方向标定中，能够正确地重建钢轨三维 表面。
(3)
墓碑怎么画
提出了引人点云配准消除运动方向梯度误
差的方法，并对点云配准。该方法一定程度上可以 消除提出累积误差，提髙重建表面的真实性。
(4)
利用重建得到的钢轨表面三维模型进行了
深度测量，并与结构光法进行了对比，平均相对误差 为7.23% ，平均绝对误差为0.049 56 mm ，说明基于光度立体的三维重建方法可用于钢轨表面缺陷的三 维在线检测。
参考文献
[1] 金侠挺，王耀南，张辉，等.基于贝叶斯C N N 和注意力网络的
钢轨表面缺陷检测系统[J ].自动化学报，2019, 45(12): 2312 -2327.
[2] 陶功明，王仁福，朱华林，等.钢轨表面质量自动检测技术的发展
与应用[J].轧钢.2016,33(6) :59 -62.
[3] 张银花，周清跃，陈朝阳，等.中国高速铁路用钢轨的质量现状及
分析[Jjw钢铁，2011,46(12) :1 -9.
[4] 徐科，杨朝霖，周鹏，等.基于激光线光源的钢轨表面缺陷三维检
测方法[J].机械工程学报,2010,46(8) :1 -5.
[5] 闵永智，岳彪，马宏锋，等.基于图像灰度梯度特征的钢轨表面
缺陷检测[■!].仪器仪表学报，2018, 39(4): 220 -229.
[6] 周鹏，徐科，张春阳，等.基于多激光线的钢轨表面缺陷在线检测
方法[J].北京科技大学学报,2015(sl) :18 -23.
[7] 段帆，李金龙，罗林，等.基于P M P 的钢轨三维面型复原及表面
缺陷检测[J].信息技术，2017(5) :72 -74.
[8] 张朝勇，苏真伟，乔丽，等.一种基于L E D 和线激光的钢轨表面缺
陷检测系统[J].科学技术与工程,2012,12(36) :9877 -9880.[9] Shi T, K o n g J, W a n g X , et a l . Improved Sobel algorithm for de
好段摘抄大全
fect detection of ra i l surfaces with enhanced efficiency and accuracy [J]. Journal of Central South University, 2016, 23 ( 11 )： 2867 -2875.
[10] Herbort S , Whler C. A n introduction to image - bad 3D surface
reconstruction and a survey of photometric stereo methods[ J ]. 3D Rearch, 2011, 2(3) ：1 ~17.
[11] 张华，赵碧霞，刘桂华，等.双目结构光的钢轨表面缺陷检测
系统设计[J ].自动化仪表，2018, 39(4): 92.
22
(下转第82页
）
