书信范文基于ORB算法和OECF模型的快速图像拼接研究
张莹;闫璠;高赢;涂勇涛
【摘 要】In order to expand the viewing angle for robot visual navigation, this paper prents a fast image stitching algorithm bad on ORB algorithm and OECF model. Firstly, feature points are extracted by SIFT algorithm after images pre-processing. Secondly, the binary descriptors of the feature points are obtained by ORB algorithm to achieve images matches. The project transformation model matrix between two matching images is calculated. Finally, to solve the color inconsistency problem of images stitching, the Opto-Electronic Conversion Function of the camera is estimated to conduct color adjustment. Experimental results show that the propod algorithm is effective for image stitching, moreover the stitching quality and stitching speed are much better than other image stitching algorithms.%为了增加移动机器人视觉导航中的成像范围，提出了一种基于ORB算法和OECF模型的图像拼接算法，获取的图像进行预处理后，先利用SIFT算法提取特征点，再用ORB算法获取特征点的二进制码串描述子进行匹配，而后通过投影变换模型获取
参数，最后估计摄像机的光电转换函数OECF（Opto-Electronic Conversion Function），利用Laguerre OECF模型参数对拼接图像进行色彩调整，解决了多幅图像拼接中颜色不一致的问题。实验结果表明，该算法能有效地对图像进行拼接，配准速度和拼接视觉效果和优于其他算法。
机械设备管理制度
【期刊名称】《计算机工程与应用》
【年(卷),期】2017(053)001
【总页数】姐姐妹妹站起来英文7页(P183-189)
【关键词】ORB算法;OECF模型;图像拼接;色彩平衡
【作 者】张莹;闫璠;高赢;涂勇涛
privacy policy
【作者单位】湘潭大学 信息工程学院，湖南 湘潭 411105; 湘潭大学 控制工程研究所，湖南 湘潭 411105;湘潭大学 信息工程学院，湖南 湘潭 411105;湘潭大学 信息工程学院，湖南 湘潭 411105;湘潭大学 信息工程学院，湖南 湘潭 411105
【正文语种】中 文
【中图分类】奥运英语TP391
ZHANG Ying,YAN Fan,GAO Ying1,et al.
Com puter Engineering and Applications,2017,53（1）：183-189.
图像拼接（image stitching）是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、失真小、无明显缝合线的新图像的技术，融合了摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等学科，具有很重要的现实意义[1]。
图像拼接分为基于特征和基于区域两种方法。基于区域的图像拼接主要是通过匹配的方法，在一幅图像中找到与另外一幅图像中相似度最高的区域，计算最佳匹配点进行拼接。严大勤[2]等人提出了一种基于区域匹配SPM显微图像重叠区域进行相关度计算的图像拼接算法，块匹配的确定是进行遍历搜索获得，因此相应的计算量很大。李忠新[3]等人基于相位相关法的柱面全景图拼接技术对光照的变化比较敏感，算法的鲁棒性不强。陈果[4]提出
了基于金字塔数据结构的多分辨率匹配，按先粗后细的顺序寻找匹配位置该算法搜索速度较快，图像的灰度变换很敏感。
基于特征的拼接方法由于利用了图像中数量较少，特征较稳定的一些点、线或边缘等进行匹配，大大压缩了所需处理信息量，使得匹配搜索的计算量小速度较快，是目前研究最多、应用最广的一类拼接方法。李新[5]提出基于SIFT算法进行拼接，该算法只利用到灰度性质，在色彩方面处理的不够好，算法复杂度高，实现速度慢。唐晓微[6]等人提出基于优化MSFE多尺度空间特征提取算法的图像拼接比传统SIFT算法鲁棒性方面有提升，但算法复杂，不易实现。李冬梅[7]等人采用基于特征点灰度相关方法，通过Harris算法提取特征点完成图像的拼接，整个过程耗时且对图像亮度有明显差异的图像拼接效果，适应性不够。
为此，本文提出了一种基于ORB算法和OECF模型高效的快速无缝图像拼接算法。针对ORB配准算法在复杂环境下检测特征点稳定性不够，提出了基于ORB（Oriented Brief）算法结合SIFT获取图像特征点所携带信息进行配准，不仅保留了SIFT算法尺度不变性的优良性能，相比于基于SIFT算法配准提高了运算速度。然后根据二进制串描述子的汉明距离确
定匹配对，去除误匹配后计算得到图像之间的变换矩阵H。最后利用摄像机Laguerre OECF模型参数使拼接后的图像保持原有图像的色调，过渡平滑，整体效果一致。实验表明，基于ORB和OECF模型算法的图像拼接算法在匹配时间和去缝效果上都优于其他算法。
本文拼接算法流程设计如图1所示。
在获取所需图像的过程中，图像获取采用定焦拍摄，尽量避免摄像机的倾斜。相邻图像样本的重叠部分在细节上是不完全相同的，此外采集的图像会因各种原因引入噪声，为匹配特征，对图像进行平滑滤波去除噪声。
2.1 ORB特征点匹配
ORB算法使用FAST角点检测来提取特征点，FAST算法的角点定义[8]为在像素点周围邻域（半径为3的圆形）内有足够多的像素点与该点处于不同的区域，设O为圆周中心，即候选特征点。
I(o)为候选特征点的灰度值，I(x)为候选点周围圆周上任意一点的灰度值，εd为判定差得阈
值，N为符合界定条件的像素个数。如果N大于给定阈值（一般为圆周像素点个数的四分之三），则认为o是一个特征点。FAST角点检测仅仅比较灰度值大小，具有计算简单、速度较快的优点，但其检测出的特征点既不具备尺度不变性也不具备旋转不变性。
为此假定角点的灰度和质心之间存在一个偏移，这个偏移向量可以用于表示一个方向，则定义邻域矩为：jetlag
其中p,q∈(0,1)，并利用矩定义特征点的中心：
特征点与质心的夹角定义为特征点的方向:
得到特征点位置信息后，ORB特征利用改进的BRIEF特征向量来构造一种为旋转不变性描述子的二进制特征串。一块经过平滑处理的像素块P，测试准则τ定义为：
其中，p(x)为像素块p在点x的灰度值，选择有n个点对的集合进行二进制测试，BRIEF描述子最后得到用于匹配的n维二进制码：
由于BRIEF本身是无向的，不具有旋转不变性，解决办法是使用式（4）求得的特征点质心
方向，使描述子中包含有特征点的方向信息。在配对点处，对于任意具有n个二进制准则集，由式（6）可以定义一个2×n的矩阵：郑州九中国际学校
对每一个测试点对，使用特征点方向θ和对应的旋转矩阵Rθ，构造经过旋转之后的二值像素测试位置Sθ∶Sθ=RθS，具备旋转不变性的描述子就可用式（8）表示：
经过旋转后的BRIEF特征仍然具有二进制串的特性。
2.2 结合SIFT改进ORB
由以上步骤可以看出，ORB算法采用的FAST检测特征点既不具备尺度不变性也不具备旋转不变性，虽然改进使得特征具有旋转不变性，但仍然不含有尺度不变性，尺度不变特征转换SIFT算法的实质是在不同的尺度空间上查找关键点（特征点），并计算出关键点的方向。SIFT所查找到的关键点比较稳定，并且具备尺度不变性，为此用SIFT算法进行角点提取[9]，而SIFT在图像的不变特征提取方面仍然存在实时性不高。对特征点进行ORB描述，生成二进制串描述子，使得生成的描述子含有尺度不变信息，然后利用Hamming距离进行特征点匹配。这样不仅解决了ORB不具备尺度不变性的缺陷，同时又保留了ORB描述子运算速度等优点。
2.3 特征匹配
在特征点配对中，模型表示为从一个平面上的特征点到另一平面上特征点的投影关系，反映为投影矩阵H，I1(x,y)和I2(x′,y′)为待拼接图像的对应匹配角点像素值。
其中h0,h1…h7为变换参数，H为变换矩阵。两幅矩阵H是8个自由度矩阵，并且满足的变换关系可表示为：
differentwith由式（9）、式（10）可看出，图像间的变换关系可以通过4个对应的像素匹配对来求取，通过求解图像之间的单应性矩阵H来合成图像。
bisllORB算子生成的是0和1组成的二进制描述符，描述符之间的距离采用Hamm ing距离计算较简单[10]，即异或操作。Hamm ing距离进行匹配大大减少了计算时间，提高了特征点匹配的效率。粗匹配之后，仍可能存在误匹配点，采用RANSAC算法，对所有的初步匹配点迭代地随机抽取数据允许误差内最小点集，找到能够使“局内点（Inliers）”所占比例最高的最小点集，用此点集估计的基本矩阵和所识别出的“局内点”进一步非线性优化，从而得到最终的矩阵估计值[11]。
毕竟英文
为验证本文配准算法有效性，使得参考图像和待配准图像有噪声、尺度和亮度等复杂情况下，仍然可以有效的实现图像配准，减小误差。在此选用图2的原场景图，改变图像亮度、高斯模糊程度、尺度变化，进一步对ORB以及本文算法进行性能测试仿真，性能测试包括匹配率、平均距离、正确匹配的百分比、匹配点的百分比、单应性错误[12]。仿真实验结果如图3所示，综合整体性能的比较可知，结合SIFT改进的ORB算法配准还是有着较优良的性能，这对于图像拼接大有裨益。
配准算法要保证配准的精度同时能够减小计算量，配准后直接拼接，图像很容易出现接缝和亮度差异，所以要进行图像去缝融合。
3.1 颜色校正
为了解决拼接图像的颜色一致性问题，需要从两幅中选择一幅图像作为基准图像，然后将另外一幅图像的颜色调节到与基准图像的颜色一致。颜色调节首先通过确定相机的光电转换函数（Opto-Electronic ConversionFunction）[13-14]。基于算法复杂度的考虑，本文采用Laguerre OECF模型来平衡色彩：
其中a⊂[-1,1]的未知数，x是场景中实际非线性灰度值，S(x)是线性灰度值。函数是单调的，反函数是含a变化的函数，Laguerre OECF模型使误差最小化且避免了产生退化的光电转换函数。模型的估计误差用均方误差度量：
为避免退化，用平衡色彩图像空间变形误差：
误差估计原始图像的像素值代替转化后的像素值，可以用式（14）进行检测：
其中S(x)是OECF模型，τ代表两幅图像直接曝光差异的参数，x1、x2是场景中同一点在匹配图像对中的点，即利用RANSAC算法得到的匹配点对。
为了色彩匹配，假设一个系统中只有一个OECF模型，且不改变，可以通过估算三个曝光参数τ（一个通道一个参数）来校正曝光和白平衡。计算两幅图像所有匹配像素OECF的估计误差函数，使其最小化获取OECF模型各参数，如式（15）所示：
选取基准图之后，最直接的均衡色彩的方法是将OECF的反函数应用到图像中进行调整：
