基于激光线阵的线阵相机在线畸变标定和校正

更新时间:2023-07-27 19:15:16 阅读: 评论:0

第51卷 第5期               激光与红外Vol.51,No.5 2021年5月              LASER & INFRARED
May,2021
去除眼袋最好的方法  文章编号:1001 5078(2021)05 0559 08
·激光应用技术·
做梦梦见被追杀
基于激光线阵的线阵相机在线畸变标定和校正
罗晓贺1,贾克斌1,熊道权2,田秀臣2,刘鹏宇1
(1 北京工业大学信息与通信工程学院,北京100022;2 北京世纪东方国铁科技股份有限公司,北京100070)
摘 要:为了提高线阵相机畸变标定和校正的实时性和便捷性,研究并提出了一种基于激光线阵的线阵相机在线畸变标定和校正的方法。以一组相对间隔已知的激光线阵作为基准,根据其相对间隔的变化而实现相机的在线标定和校正,而无需已知相机和成像物体的相对位置,也无需其他设备,操作简单。该方法适用于成像过程中物距不变的情况。经实验证明,当激光线阵中激光线数量为41,且物
距为0 25m时,校正后影像点的位置偏差均方根为0 5685pixel。关键词:线阵相机;激光线阵;在线;标定和校正
中图分类号:TH74;TN249  文献标识码:A  DOI:10.3969/j.issn.1001 5078.2021.05.004
Real timecalibrationandcorrectionofline scancamera
basedonlaserlineararray
LUOXiao he1,JIAKe bin1,XIONGDao quan2,TIANXiu chen2,LIUPeng yu
(1 SchoolofInformationandCommunicationEngineering,BeijingUniversityofTechnology,Beijing100022,China;
2 BeijingCenturyEastChinaRailwayTechnologyCo Ltd,Beijing100070,China)
Abstract:Inordertoimprovethereal timeperformanceandconvenienceofthecalibrationandcorrectionofline scancamera,amethodofonlinedistortioncalibrationandcorrectionbasedonlaserlineararrayisstudiedandpro posed Takingagroupoflaserlineararrayswithknownrelativespacingasthereference,thereal timecalibrationandcorrectionoftheline scancamearacanberealizedaccordingtothechangeoftherelativespacing,withoutknowingtherelativepositionofthecameraandtheimagingobject,andwithoutotherequipment Thismethodissuitableforthecaseofconstantobjectdistanceintheimagingprocess Experimentsshowthattherootmeansquaredeviationofthecorrectedimagepointsis0 568
5pixelwhenthenumberoflaserlinesis41andtheobjectdistanceis0 25m Keywords:line scancamera;laserlineararray;real time;calibrationandcorrection
基金项目:中国博士后科学基金面上项目(No.2019M650550)资助。
作者简介:罗晓贺(1984-),女,博士,主要从事光学测量。E mail:lxh13411341@163 com通讯作者:贾克斌(1962-),男,教授,博导,研究方向为图像/视频信号与信息处理技术,生物信息处理与计算技术、基于
Internet网的多媒体系统等。E mail:kebinj@bjut edu cn
收稿日期:2020 07 13
1 引 言
很多细小特征的测量需要高精度的图像,实际应用中的相机不可避免地存在畸变现象,直接影响图像的质量和测量的精度。线阵相机因其分辨率高、抗干扰性强等优势,现广泛应用于各领域的无接
触实时测量系统中[
1-3]
,因此,线阵相机的畸变标定和校正方法研究成为目前测量领域的一个热点。
目前,现有的线阵相机畸变标定的方法主要是
利用特定结构的靶标实现测量[
4-8]
。例如,Horaud等人[4-5]
提出基于特定形状平面靶标的标定方法,
通过靶标特征点相对位置的变化,再借助精密位移平台对平面靶标进行特定方向的移动,实现所有特
征信息的提取,进而实现线阵相机畸变的标定。Lu na等[6]在Horaud标定方法的基础上进行了改进,将2D平面靶标改为了3D靶标,避免了精密位移平台的使用,但是3D靶标制作比较困难,成本高。孙博等[7]在传统平面靶标的基础上提出一种利用激光跟踪仪辅助的线阵相机标定方法,通过激光跟踪仪测量靶标上的6个标记点获得靶标的位姿和姿态,再结合平面靶标特征点的特
征变化完成了线阵相机的标定。上述方法的相机标定参数全面:均可获取相机和被测物之间的全部相对位姿,而且后面两种方法还在此基础上实现了镜头的非线性畸变标定。但是,这些方法,一方面无法保证标定时和工作时镜头参数和使用场景的一致性;另一方面,其标定过程都比较复杂且耗时;因此,无法实现线阵相机的在线实时标定和校正。
随着激光技术的迅速发展,激光结构光因其高亮性、形式多样性和结构稳定性在测量领域的应用越来越广泛[9-10]。其思想主要为基于结构光的物像形状的变化实现目标的在线测量。此外,在很多特定应用领域,相机和成像物之间的相对位置固定。例如,轨道交通测量中,相机放置在轨检车上,相机和轨道之间的距离、夹角等都不发生变化。此时,相机需要标定的参数比较少。本文针对该应用场景,结合激光结构光的应用,提出一种基于激光线阵的线阵相机在线畸变标定和校正方法。一方面,该方法畸变标定场景和标定结果的使用场景是统一的,无差别的,这在一定程度上可以提高标定精度;另一方面,无需放置靶标,一切都以开关的形式、而非人工的形式实现标定过程、以及标定和测量的转换过程,在一定程度上提高了测量的效率及自动化的程度。
2 畸变标定和校正原理
2 1 畸变标定和校正原理图
如图1所示,为线阵相机的畸变校正原理图。图1(a)为激光器发射出的激光线阵图样,其中图示
竖向激光线组成相互平行的“基准线阵”;横向的两条激光线称为“范围标志线”,这两线相互平行且位于基准线阵的近中心位置。范围标志线内的基准线阵的相对位置固定,且可以通过预先测定而已知。
具体的畸变标定和校正过程为:首先,激光线阵被投影在图1(b)所示的被测物体上,形成图1(c)所示的场景;然后将线阵相机对准图1(c)中范围标志线内的任意一行,并保持相机和被测物体都不动,线阵相机利用时钟触发,形成多行重复的图像,并输出,如图1(d)所示;通过图像处理获取图1(d)中亮线的位置,再对比于图1(a)中线阵相对位置的测定值(测定值看作为各激光线相对位置的真值),即可获取此时(相机和成像物)相对位姿下的相机畸变系数,完成标定;关掉激光器,保持相机和被测物距离不变,移动相机或被测物,使二者相对运动而成像(如图1(e)所示),根据标定得到的畸变系数即可
实现图像畸变的实时校正。
图1 畸变标定和校正原理图
Fig 1Schematicdiagramofdistortioncalibrationandcorrection
在上述过程中,①激光线阵中设置“范围标志线”的目的为:确保基准线阵相对间隔的不变性;这是因为,基准线阵不可避免地存在一定的不平行度,这会使得不同位置的相邻线之间的间隔不同;在设置了间距较小的“范围标志线”后,会大大缩小基准线阵的使用范围,而该范围内激光线的相对间隔可以看作是不变的。②基准线阵的投射位置和被测物体的成像位置是重合的,根据基准线阵相对位置的变化计算得到的畸变系数进行畸变校正的话,相当于对被测物进行了实时的畸变标定和校正,而无需已知此时相机的视场大小,也无需知道相机和被测物体之间的角度、距离等,准确高效。③静止线阵相机的成像目标为一条线,采用时钟触发会形成同一线目标不断重复的图像,此时的亮线在图像中是绝对竖直的,便于计算。
2 2 畸变标定和校正公式
线阵相机成像模型示意图如图2所示。图中,O
为被测物面;O
为线阵相机的线性传感器
的长度方向;O
1f
为平行于物面的辅助线;O
1f
的夹角为θ。相机和物面的相对运动方向平行于物面(保证了物距不变);在相对运动过程中,物面上的线性物视场依次成像在线性传感器上,此时
刘英男5激光与红外                    第51卷
线性传感器的轨迹形成一个平面,称为像面;像面和物面成θ角,且相对位置不变(即物距和θ角保持不变)
封闭式问题
图2 相机成像模型示意图
Fig 2Schematicdiagramofcameraimagingmodel
在上述运动情况下,只需要考虑镜头本身的非线性畸变和θ角所形成线性畸变即可。这两种畸变在像面上的表现都是各点在O1x1轴上的一维位置变化。此时,线阵相机畸变的数学模型可以表示为:
Δf=k0+k1f+k2f2+k3f3+…+kn
fn
+…(1)
式中,f表示目标在O1x1轴上的实际归一化线性视场大小;Δf表示目标在O1x1轴上的实际归一化线性视场和理想归一化线性视场的差值;kn(n=0,1,2,…)表示畸变系数;f0=f-Δf,表示目标的理想归一化线性视场位置;畸变标定和校正的核心内容为获取畸变系数kn
。2 2 1 基准线阵相对间隔zm和归一化线性视场fm
基准线阵相对间隔是求解公式(1)中归一化线性视场的关键,而归一化线性视场为计算畸变系数的参数。因此,首先应该明确基准线阵相对间隔和归一化线性视场的概念。现以图1(d)为例进行概念的说明。
(1)基准线阵定位
将图1
(d)重新显示为图3(a)。对图3(a)中基准线阵的各激光线进行编号,序号以m表示(m从1开始,从左到右依次增加)。理论上讲,图3(a)各行的光强分布完全相同;取图像中的任意一行,光强分布如图3
(b)所示。对光强进行去背景、加权求平均等操作后,求得各激光线列坐标。激光线列坐标,由符号xm表示。
(2)基准线阵相对间隔zm
以序号为1和2的激光线间隔为标准,计算基准线阵相对间隔zm为:
zm
xm-x1
x2-x1
(2)
很显然,z1=0,z2=
1。(3)基准线阵归一化线性视场大小fm
以图3(a)为例,图像的最小列号为xmin=0,且对应于-1视场;最大列号为xmax=2048,对应于1视场;中心列号xmedian=(2048+0)/2=1024对应于0视场。则基准线阵列号xm对应的归一化线性视场为:
fm=
xm-xmedian
xmax-xmedian
(3)
图3 基准线阵定位示意图
Fig 3Schematicdiagramofpositioningofreferencelineararray
2 2 2 畸变系数计算
假设已知基准线阵相对间隔的测定值(即真值)zm0和激光线阵的实际归一化线性视场fm,对畸变系数进行计算。
1)初始计算过程①寻找位于图像0视场两侧的激光线。如图3(b)所示,假设序号为mA和mB(=mA+1)的激光线位于0视场的两侧,其实际归一化线性视场分别为fmA和fmB
。因为畸变中心一般位于图像中心列位置1
65激光与红外 No.5 2021      罗晓贺等 基于激光线阵的线阵相机在线畸变标定和校正
附近,所以现假设[fmA,fmB
]范围内的位置没有畸变。②以fmA和fmB的视场间距为标准间距;zm0
中序号为mA和mB的数分别为zmA0和zmB0;则各激光线的理想归一化线性视场fm0
为:fm0=fmA
+f
mB
-fm()A
zm0-zmA()0zmB0-zmA0
(4)家庭牛排
③则激光线阵的实际归一化线性视场和理想归一化线性视场的差值为:
Δfm=fm0-fm
(5)
④以公式(
1)为依据,采用最小二乘法拟合Δfm和fm之间的关系式,其系数kn(n=1,2,…)即为所求的畸变系数。
(2)优化过程
在上述过程中存在一个假设:[fmA,fmB]范围内的位置没有畸变,而且所有的计算都是以fmA,fmB的数值为基准进行的。但是,实际上该范围肯定存在一个小的畸变,因此,fmA,fmB的数值存在一定误差;为了减小该误差的影响,需要对其进行优化。
优化过程为:
①将初始计算过程求得的kn和fm代入公式1,重新拟合出一个新的归一化线性视场差值,记为Δfm_1;此时Δfm_1中序号为mA和mB的数(分别记为ΔfmA_1和ΔfmB_1),对比于Δfm中相应位置的数据(分别记为ΔfmA和ΔfmB
)是有一定的差值的;②计算bA=|(ΔfmA_1-ΔfmA)/ΔfmA|和bB=|(ΔfmB_1-ΔfmB)/ΔfmB|;如果bA<0 05,bB<0 05,则跳转至过程⑤,否则继续过程③;(注:0 05为自己定义的数值,数越小,精度越高,计算量越大)
③选择Δfm_1中的序号为mA和mB的数,并替换掉Δfm中相应位置的数据,得到新的Δfm;
④然后根据最小二乘法拟合新的Δfm和fm之间的关系式,得到新的畸变系数kn;然后回到过程①。
⑤根据最新拟合到的Δfm_1中的序号为mA和mB的数(ΔfmA_1和ΔfmB_1)来补偿序
号为mA和mB的激光线的理论归一化线性视场。即,公式(4)中的fmA和fmB被优化补偿为fmA+ΔfmA_1和fmB+ΔfmB_1;然后重新计算公式(4),(5),再根据公式(1)进行多项式拟合,得到最终的畸变系数kn。3 数据仿真和误差分析
在整个测量过程中,很多环节都会产生误差,
如:经过优化,fmA,fmB的数值存在的误差会大大减小,但是依旧会有残留;去背景和加权求平均的激光线定位算法会存在一定误差;基准线阵相对间隔的真值zm0是由测定得到的,会存在一定的测定误差,等等。其中,由zm0的测定误差造成的畸变校正误差称为“基准误差”,其余原因造成的畸变校正误差称为“原理误差”。
为了分析原理误差和基准误差的变化规律及大小,现设定仿真参数如下:
(1)假设在一定的物距下,相机的目标线视场为[-130,130]mm,目标采集点为一组间隔为1mm的点;则目标归一化线视场的理论数值为f0=-
1∶(1/130)∶1(即以1/130为间隔,从-1到1的序列值)。
2)激光线阵(激光线数量记为num≥3)以一定的距离照射到目标上时,且边缘的两条激光线分别对应线视场-130mm和130mm。激光线阵的相对间隔的测定值(即真值)zm0,如图4(a)所示。图中,横坐标为激光线的序号m,纵坐标为zm0-
m+1。2
65激光与红外                    第51卷
图4 误差分析
Fig 4Erroranalysis
(3)相机的分辨率为1×2048,镜头畸变曲线如图4(b)所示。图中,横坐标为归一化的线性视场;纵坐标为畸变量,由符号d表示,单位为(%)。很显然,该镜头的最大畸变发生在最大视场处,为1 8%,即max(|d|)=1 8%。
(4)像面和物面的夹角为θ(可设定为不同的数值)。3 1 原理误差分析
选择num=41,θ=5°。首先,根据图4(b)显示的镜头畸变和θ=5°,结合公式(1)~(3),仿真得到激光束的实际归一化线性视场f
;然后,根据
2 2 2的过程即可求得畸变系数k
(n=0,1,2,
…);最后,根据k
对f
进行校正,得到校正后的
数据f
。δf=f
-f
,即为原理误差,曲线f
-δ
如图4(c)所示。
由图4(c)可知,当num=41,θ=5°时,原理误差的最大相对值为2 0632×10-5,对应的畸变校正的绝对误差为2 0632×10-5×1024=0 0211pixel。
改变镜头的最大畸变量(即图4(b)中各数同时除以某个数值)、θ和num,可得到其余原理误差曲
线。现将各曲线中|δ
|的最大值提取出来,并转化为绝对误差,列于表1中。
表1 原理误差最大值
Tab 1Peakvalueofprincipleerrors
max(|d|)/θ
max(|δf|)·1024/pixel
num=6num=10num=21num=30num=41num=50num=61num=70num=80
0 6%/5°0 04720 00420 00190 00170 00150 00150 00160
00180 00190 9%/5°0 06160 00640 00280 00250 00210 00220 00250 00270 00291 8%/5°0 06880 01370 00600 00540 00480 00480 00540 00590 00633 6%/5°0 08030 03550 01560 01390 01270 01280 01440 01560 01671 8%/2 5°0 06320 01250 00540 00530 00470 00490 00560 00520 00561 8%/7 5°0 06350 01280 00630 00590 00570 00560 00670 00680 00791 8%/10°0 07230 01370 00690 00650 00580 00590 00730 00790 0066
  根据表1中数据可知:(1)当相机的畸变量(包括d和θ)固定时,原理误差会随着激光线数量的增加而减小,达到最小值后再随着激光线数量的增加而增加;很显然,在上述仿真条件下,激光线数量大约为41时达到最优;因此,为减小测量误差,实际测量中激光线数量尽量选择最优值。(2)当激光线数量固定时,原理误差会随着镜头畸变量d的增加而增加,而θ的影响不太大。
3 2 基准误差分析
在3 1描述的仿真过程中,给z
m0
加上一定量的
测定误差(符合以σ
err
为方差的高斯分布),得到基准误差。类似于表1,不同参数下对应的基准误差最大值如表2所示。
根据表2中数据可知:(1)当相机畸变量固定时,基准误差会随着测定误差的增加而增加;当num
=41,max(|d|)为1 8%,测定误差σ
err
<3×10-4
时,基准误差<0 1pixel;(2)当测定误差σ
err
固定,且镜头最大畸变量max(|d|)<3 6%,像面和物面夹角θ<10°时,相机畸变量的大小对基准误差的影响不灵敏。
4 实验设计与结果
为了验证上述算法的有效性,在实验室中进行了一系列的实验。
4 1 实验装置
实验装置如图5所示,由两个系统组成:
系统1:图像采集系统
文化营销>友谊之花是什么花(1)线阵相机。相机采用的是DALSA线阵相机,其分辨率为1×2048,像素尺寸为7 04μm,行频最高可达52kHz;相机镜头焦距为12 5mm,最小物距为0 1m,畸变曲线如图4(b)所示。
事假和病假的区别激光与红外 No.5 2021      罗晓贺等 基于激光线阵的线阵相机在线畸变标定和校正

本文发布于:2023-07-27 19:15:16,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/1099044.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:畸变   激光   标定   误差   视场   校正
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图