基于主动视觉的手眼矩阵和光平面标定方法
郭新年;白瑞林;王秀平
【摘 要】In order to solve the problem of complex operation existing in the previous approaches bad on active vision to calibrate hand-eye matrix and the light plane, an approach bad on active vision which calibrates the hand-eye matrix and structured light plane at same time is propod. By precily controlling the robot to do two orthogonal translational motions, the rotating part of the hand-eye matrix is solved. The translational part of the hand-eye matrix and the light plane equation is calculated by two or more motions with revolving. The approach is simple, and can be achieved with only three feature points in the scene without a specific target. The experimental results show that the approach is effective.%为解决现有基于主动视觉方法标定手眼矩阵和结构光平面操作较复杂的问题，提出一种基于主动视觉的同时标定手眼矩阵和光平面的方法。通过精确控制机器人做两次相互正交的平移运动，求解手眼矩阵的旋转部分；而后通过两次及以上带旋转运动，求解手眼矩阵的平移部分和光平面方程。该方法简单，无需使用特定靶标，标定过程只需3
个特征点，即可实现机器人手眼矩阵和光平面方程的标定；实验结果证明了该方法的有效性。
【期刊名称】《计算机工程与应用》
【年(卷),期】2015(000)019
【总页数】5页(P56-60)
【关键词】主动视觉;激光视觉传感器;结构光;手眼标定;光平面标定
【作 者】郭新年;白瑞林;王秀平
【作者单位】江南大学 轻工过程先进控制教育部重点实验室 信息与控制实验教学中心，江苏 无锡 214122;江南大学 轻工过程先进控制教育部重点实验室 信息与控制实验教学中心，江苏 无锡 214122;江南大学 轻工过程先进控制教育部重点实验室 信息与控制实验教学中心，江苏 无锡 214122
【正文语种】中 文
【中图分类】TP242.62
1 引言
视觉测量与控制在机器人领域占有重要的地位。结构光视觉系统主要由激光投射器和摄像机组成，以其抗干扰能力强，实时性好，成本低等优点，广泛应用于机器人焊接、装配、物体三维形貌测量等。而实现机器人视觉测量与控制的关键部分是系统参数的标定技术。
基于主动视觉的标定方法通过精确控制摄像机运动获得多幅图像，通过确立图像与摄像机运动之间的关系来进行标定。该方法在标定过程中由于已知关于摄像机的运动信息，摄像机的模型参数可以线性求解，且算法简单，鲁棒性较高，适用于视觉传感器安装在机器人末端的手眼系统的标定。
基于主动视觉的标定方法最早用于标定摄像机内参数，Ma[1]在1996 年提出的基于两组三正交平移运动的摄像机自定标方法，通过控制摄像机做两组三正交平移运动，利用扩展焦点（FOE）的性质线性求解摄像机内参数；其后，李华等[2]给出利用5 组平面正交运动标定摄像机所有的5 个内参数的五参数模型的线性方法；同样，主动视觉的标定方法被引入
手眼矩阵的标定，杨广林等[3]通过控制摄像机做两次平移运动和一次旋转运动，仅利用场景中两个特征点，给出了机器人手眼矩阵标定方法；王海霞等[4]等深入分析了eye-in-hand 系统，将摄像机内参数和手眼矩阵旋转部分看作一个“黑箱”直接求解，不需要分别确定系统各部分的每个参数，既降低了计算量又减少了误差；Xu 等[5]设计了一种基于场景中单个特征点的手眼矩阵标定方法，该方法以运动前后特征点的相对位置表征摄像机坐标系的平移，避免求解FOE 点的问题，达到了很高的精度。在光平面标定方面，徐德等[6]提出基于主动视觉的标定方法，该方法需要3 次及以上的摄像机姿态，且激光条打在的平面方程已知，还需用测量尺对激光条上特定点间的距离进行测量，虽然达到了较高的标定精度，但标定过程复杂；陈天飞等[7]通过多组平移运动，采用四参数平面模型，分别标定光平面的法向量，和光平面的深度信息，达到了很高的标定精度。
主动视觉平台尤其是机器人的不断使用，为基于主动视觉标定提供了硬件前提。为解决现有基于主动视觉方法标定光平面操作较复杂的问题，本文提出一种同时标定手眼矩阵和光平面的方法，通过控制机器人做两次相互正交的平移运动，求解手眼矩阵的旋转部分；而后通过两次及以上带旋转运动，求解手眼矩阵的平移部分，同时可得到特征点在机器人基坐标系信息，进而可得到光平面方程。
2 标定原理
在内参数已知的前提下，控制机器人进行两次相互正交的平移运动，机器人末端平移信息由控制器读出，结合由FOE 求出的摄像机的运动方向，可求解手眼矩阵的旋转部分[3]；进行两次及以上的带旋转运动，求解手眼矩阵的平移部分和各特征点在机器人基坐标系的深度值；无需求解外参数，直接通过机器人基坐标系与末端坐标系之间关系T6i 和求得的手眼矩阵得到机器人基坐标系与摄像机坐标系的关系，利用对偶关系求取光平面方程[8]。
2.1 手眼系统中坐标变换关系
结构光手眼系统中机器人基坐标系、机器人末端坐标系和摄像机坐标系之间的关系，如图1 所示。
图1 结构光手眼系统关系图
可得到机器人手眼系统中的坐标变换关系如下[4]：
其中XW 是特征点在机器人基坐标系的坐标，ε 是特征点在摄像机坐标系的深度值，RHW
、tHW 是机器人基坐标系与末端坐标系之间关系的旋转与平移部分；R、t 是机器人末端坐标系与摄像机坐标系之间的关系即手眼矩阵的旋转与平移部分；(u,v,1)T 是特征点图像的齐次坐标；K 是摄像机内参矩阵五参数模型。
2.2 手眼矩阵旋转部分的标定
设P 为空间中的一点，XW、XH 和XC 分别为点P在机器人基坐标系、机器人末端坐标系和摄像机坐标系下的坐标，RHW 和tHW 表示机器人基坐标系与机器人末端坐标系之间的关系，P 在各坐标系的关系为：
如图2 所示，机器人初始位姿A 在基坐标下的位姿为T61，控制机器人沿末端坐标系平移运动，平移后到达B，B 在基坐标系的位姿为T62，则两末端坐标系之间关系为T=(T61)-1T62，其中T 的旋转部分为E，平移运动为B。
图2 平移运动示意图
机器人末端从A 处平行移动到B 处，机器人末端平移量为B=k1b，P 点在A 处和B 处机器人末端坐标系下的坐标分别为XH 和XH1=XH +B，在摄像机坐标系下的坐标分别是XC 和XC
1，则有：
由上式得：
即B=RC，其中B=k1b 为机器人末端平移量，b 为末端平移量的单位向量，C=k1c 表示摄像机平移量，c1 为摄像机平移向量的单位向量。
B 运动可通过控制器读出，将其单位化后即为b1。C为摄像机平移运动方向，其方向向量求解可根据Ma[1]文献中扩展焦点（FOE）的性质，求解FOE 点（齐次坐标为(uei,vei,1)T）后，进而得到其成像点在摄像机坐标系的归一化坐标为，其中K 为内参矩阵，该坐标表示平移运动在运动前摄像机坐标系方向，其单位向量为c1。
由于旋转矩阵只改变向量的方向，不改变向量的大小，可以将C、B 变换为单位向量后代人求解旋转部分R，即：
机器人进行一组正交平移运动，同理可得：b2=Rc2。
假设运动b3=b1×b2 与b1、b2 构成三正交运动，则c3=c1×c2 与c1、c2 也 构 成 三 正 交 运 动[3]，同 时 可 得：b3=Rc3。
b1、b2、b3 三个列向量构成矩阵P，c1、c2、c3 构成矩阵Q，即得P=RQ，可得手眼矩阵旋转部分为R=PQ-1。
理论上，R、P 和Q 均为正交矩阵，但由于机器人与图像误差的存在，得到的b1、b2 和c1、c2 可能不相互正交，此时可将b1、b2 和c1、c2 施密特正交化后，再计算b3和c3，进而求解手眼矩阵旋转部分R。
2.3 手眼矩阵平移部分和光平面的标定
2.3.1 手眼矩阵平移部分标定
选取场景中不在同一直线上的3 个特征点，进行两次带旋转运动，每次带旋转运动后，取带特征点的图像和打开激光器后带激光条纹的图像。由结构光手眼系统之间的关系（1）可得：
其中，RHWj、tHWj(j=1,2,3)是机器人在第j 个位姿下基坐标系与末端坐标系之间关系的旋转与平移部分，可以通过机器人控制器读出；nij=(uij,vij,1)T(i,j=1,2,3)是第i 个特征点在第j 个位姿下特征点图像的齐次坐标。
