第３８卷第３期 计算机应用与软件
Ｖｏｌ ３８Ｎｏ．３２０２１年３月
ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｍａｒ．２０２１
采用改进平均梯度与自适应ＰＣＮＮ的图像融合
张 蕾
（郑州工程技术学院 河南郑州４５００４４）
收稿日期：２０１９－０９－０３。河南省科技攻关项目（１８２１０２２１０１５０）。张蕾，讲师，主研领域：数字媒体与图形图像设计。
摘 要 为了改善对多聚焦图像融合的视觉效果和时效性。借助非下抽样剪切波（ＮＳＳＴ）变换的平移不变性和较强的方向选择性，提出改进的融合策略。通过ＮＳＳＴ变换对源图像进行分解，获得与源图像大小相同但尺度不同的低频子带和高频子带，再采用改进平均梯度的策略对低频子带进行融
合，对高频子带则利用改进的自适应ＰＣＮＮ策略进行融合。对融合后的高低频子带进行ＮＳＳＴ逆变换，重构出整体更自然明亮和细节纹理更清晰的融合图像。仿真结果表明：改进融合策略较好地提取出了源图像的细节信息，在主观视觉和五种客观评价指标上均优于其他几种比较算法，且由于ＮＳＳＴ引入了快速傅里叶变换，明显提高了运算的时效性。关键词 多聚焦图像融合 非下抽样剪切波 平移不变性 平均梯度 自适应ＰＣＮＮ
中图分类号 ＴＰ３９１．４ 文献标志码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００ ３８６ｘ．２０２１．０３．０３３
ＩＭＡＧＥＦＵＳＩＯＮＵＳＩＮＧＩＭＰＲＯＶＥＤＡＶＥＲＡＧＥＧＲＡＤＩＥＮＴＡＮＤＡＤＡＰＴＩＶＥＰＣＮＮ
ＺｈａｎｇＬｅｉ
（ＺｈｅｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｚｈｅｎｇｚｈｏｕ４５００４４，Ｈｅｎａｎ，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ Ｔｏｉｍｐｒｏｖｅｔｈｅｖｉｓｕａｌｅｆｆｅｃｔａｎｄｔｉｍｅｌｉｎｅｓｓｏｆｆｕｓｉｏｎｆｏｒｍｕｌｔｉ ｆｏｃｕｓｉｍａｇｅ．Ａｎｉｍｐｒｏｖｅｄｆｕｓｉｏ
ｎｓｔｒａｔｅｇｙｉｓｐｒｏｐｏｓｅｄｂｙｍｅａｎｓｏｆｔｒａｎｓｌａｔｉｏｎｉｎｖａｒｉａｎｃｅａｎｄｓｔｒｏｎｇｄｉｒｅｃｔｉｏｎａｌｓｅｌｅｃｔｉｖｉｔｙｏｆｎｏｎ ｄｏｗｎｓａｍｐｌｉｎｇｓｈｅａｒｗａｖｅ（ＮＳＳＴ）ｔｒａｎｓｆｏｒｍ．ＴｈｅｓｏｕｒｃｅｉｍａｇｅｓｗｅｒｅｄｅｃｏｍｐｏｓｅｄｂｙＮＳＳＴｔｒａｎｓｆｏｒｍ，ａｎｄｔｈｅｌｏｗ ｆｒｅｑｕｅｎｃｙａｎｄｈｉｇｈ ｆｒｅｑｕｅｎｃｙｓｕｂ ｂａｎｄｓｗｉｔｈｔｈｅｓａｍｅｓｉｚｅｂｕｔｄｉｆｆｅｒｅｎｔｓｃａｌｅｓｗｅｒｅｏｂｔａｉｎｅｄ．Ｔｈｅｎｔｈｅｌｏｗ ｆｒｅｑｕｅｎｃｙｓｕｂ ｂａｎｄｓｗｅｒｅｆｕｓｅｄｂｙｉｍｐｒｏｖｅｄａｖｅｒａｇｅｇｒａｄｉｅｎｔｓｔｒａｔｅｇｙ，ａｎｄｔｈｅｈｉｇｈ ｆｒｅｑｕｅｎｃｙｓｕｂ ｂａｎｄｓｗｅｒｅｆｕｓｅｄｂｙｉｍｐｒｏｖｅｄａｄａｐｔｉｖｅＰＣＮＮｓｔｒａｔｅｇｙ．ＦｉｎａｌｌｙＮＳＳＴｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｗａｓｕｓｅｄｔｏｒｅｃｏｎｓｔｒｕｃｔｔｈｅｆｕｓｅｄｌｏｗ ｆｒｅｑｕｅｎｃｙａｎｄｈｉｇｈ ｆｒｅｑｕｅｎｃｙｓｕｂ ｂａｎｄｓ，ａｎｄｔｈｅｆｕｓｅｄｉｍａｇｅｗｉｔｈｍｏｒｅｎａｔｕｒａｌｂｒｉｇｈｔｎｅｓｓａｎｄｃｌｅａｒｅｒｄｅｔａｉｌｔｅｘｔｕｒｅｗａｓｏｂｔａｉｎｅｄ．Ｔｈｅｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｉｍｐｒｏｖｅｄｆｕｓｉｏｎｓｔｒａｔｅｇｙｃａｎｐｒｅｆｅｒａｂｌｙｅｘｔｒａｃｔｔｈｅｄｅｔａｉｌｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｓｏｕｒｃｅｉｍａｇｅ，ａｎｄｉｔｉｓｓｕｐｅｒｉｏｒｔｏｏｔｈｅｒｃｏｍｐａｒｉｓｏｎａｌｇｏｒｉｔｈｍｓｉｎｓｕｂｊｅｃｔｉｖｅｖｉｓｉｏｎａｎｄｆｉｖｅｏｂｊｅｃｔｉ
ｖｅｅｖａｌｕａｔｉｏｎｉｎｄｅｘｅｓ．Ｍｏｒｅｏｖｅｒ，ｂｅｃａｕｓｅｏｆｔｈｅｉｎｔｒｏｄｕｃｔｉｏｎｏｆｆａｓｔＦｏｕｒｉｅｒｔｒａｎｓｆｏｒｍｉｎＮＳＳＴ，ｔｈｅｔｉｍｅｌｉｎｅｓｓｏｆｔｈｅｏｐｅｒａｔｉｏｎｉｓｏｂｖｉｏｕｓｌｙｉｍｐｒｏｖｅｄ．
Ｋｅｙｗｏｒｄｓ Ｍｕｌｔｉ ｆｏｃｕｓｉｍａｇｅｆｕｓｉｏｎ Ｎｏｎ ｄｏｗｎｓａｍｐｌｉｎｇｓｈｅａｒｗａｖｅｓ Ｔｒａｎｓｌａｔｉｏｎｉｎｖａｒｉａｎｃｅ ＡｖｅｒａｇｅｇｒａｄｉｅｎｔＡｄａｐｔｉｖｅＰＣＮＮ
０ 引 言
根据相机光学成像的原理可知，镜头受到有限景深的制约，距离镜头焦点较近的区域成像更加清晰，而距离镜头焦点较远的区域则相对模糊，所以在使用单一成像传感器采集图像时，不能使处于不同景深的目
标都达到高质量的成像效果［１－２］。然而在卫星遥感遥
测、医学成像分析、高品质印刷、军事探测、目标识别跟
踪等特殊领域，需要得到更加清晰的图像［３－５］
。图像
融合是解决该问题的有效途径，通过多个传感器采集同一场景内的不同目标，得到不同景深目标的清晰成像，再借助不同的算法将多幅图像中的有效信息进行互补结合，融合成一幅高清晰度的全聚焦图像，提升人或计算机对图像刻画和理解的准确性。
由于多尺度变换能够把图像分解成具有不同互补
第３期
张蕾：采用改进平均梯度与自适应ＰＣＮＮ的图像融合
２１９ （信息）特征属性的子图，也容易被计算机运算和处理。其中小波变换是多尺度变换的代表，具有多分辨分析的特点，能够较好地提取一维信号的局部特征。文献［
６］提出了离散小波变换（ＤＷＴ）算法，并将其用于多模态医学图像融合中，取得了一定的效果，但是图像属于二维信号，只能获得有限方向的信息，在描述线状奇异性方面表现出了局限性，对图像的边缘轮廓等高维信息表征能力较弱。文献［
７］提出了一种快速离散Ｃｕｒｖｅｌｅｔ变换，在对聚焦图进行融合的效果也得到了提升，但Ｃｕｒｖｅｌｅｔ变换的实现过于复杂。文献［８］将Ｃｏｎｔｏｕｒｌｅｔ变换应用到多聚焦图像的融合中，得到了边缘细节处清晰的图像，但Ｃｏｎｔｏｕｒｌｅｔ变换却引入了伪吉布斯现象。文献［
９］使用双树复小波变换（ＤＴＣＷＴ）和稀疏表示实现对图像的融合，能有效避免伪吉布斯现象，但依然存在运算复杂和时效性差的问题。文献［
１０］将非下抽样Ｃｏｎｔｏｕｒｌｅｔ变换（ＮＳＣＴ）应用到ＳＡＲ图像的融合中，能对图像中各向异性的边缘和纹理等信息给出更优的表示，但依然存在实现过程复杂和处理数据大的缺陷。本文将非下抽样剪切波变换（
ＮＳＳＴ）应用到对多聚焦图的分解中，并对高低频分别采取了适合的融合算法，不仅在图像融合效果上取得了更优的表现，运算时效性也得到了明显的提升。
１ 非下抽样剪切波变换
剪切波变换（Ｓｈｅａｒｌｅｔ）属于多尺度几何分析方法，也是最优的多维函数稀疏表示方法，目前已被应用到
图像处理领域［１１］
。剪切波变换在实现过程与轮廓波
变换具有类似之处，却没有分解方向和尺寸大小的约束。另外，逆变换仅需对剪切滤波器进行加和处理即可实现，具有更快的运算效率。
对于 ξ＝（ξ１，ξ２）∈Ｒ２
，其中ξ１
≠０。若ψ的傅里叶变换表示为：
ψ＾（ξ）＝ψ＾（ξ１
，ξ２
）＝ψ＾１
（ξ１
）ψ
＾２
ξ２ξ()
１
（１）
ψ１和ψ２满足以下两个条件：
１）有ψ１
∈Ｌ２（Ｒ２），且当ξ∈Ｒ时，满足Ｃａｌｄｅｒｏｎ容许性条件，即：
∫
∞
０
ψ⌒
１
（ａξ）２
ａ
ｄａ＝１（２）
式中：ｓｕｐψ⌒
１ ［－２，－１／２］∪［１／２，２］；ａ表示伸缩变量。
２）ψ２
Ｌ
２＝１，ｓｕｐψ⌒
２
［－１，１］，那么 ａ＞０，ｓ∈Ｒ，ｔ∈Ｒ２，图像ｆ∈Ｌ２（
winter是什么意思Ｒ２
）的剪切波变换表示为：ＳＨψｆ
（ａ，ｓ，ｔ）＝〈ｆ，ψａｓｔ〉（３）
式中：ψａｓｔ（ｘ）＝ｄｅｔＭａｓ
－１
２
ψ（Ｍ－１
ａｓ（
ｘ－ｔ））。Ｍａｓ＝
ａ－槡ａｓ０
槡
[
]
ａ（４）
那么可以将｛ψａｓｔ
（ｘ）：ａ＞０，ｓ∈Ｒ，ｔ∈Ｒ２
｝叫作连续剪切波。其中，所有的矩阵Ｍａｓ
recipe是什么意思都能分解成１个剪切矩阵Ｂｓ和１个各向异性伸缩的膨胀矩阵Ａａ的乘积，表示为：
Ｍａｓ＝ＢｓＡａ＝
１－ｓ[]０１ａ０
０槡[]
ａ（５）
故图像能够用剪切波变换来重构，表达式如下：ｆ（ｘ）＝
∫Ｒ２∫∞－∞∫
∞
０
〈ｆ，ψａｓｔ〉ψａｓｔ
计算机英语词汇（ｘ）ｄａａ
３ｄｓｄｔ（６）由于标准的剪切波变换中的滤波器使用的是伪极化网格，通过窗函数平移进行下抽样操作，虽然能应用在各向异性的边缘及轮廓分析，但缺乏平移不变性，融合效果较差。本文采用的非下抽样剪切波变换（ＮＳＳＴ）是由非下抽样金字塔变换（Ｎｏｎ ＳｕｂｓａｍｐｌｅＰｙｒａｍｉｄ，ＮＳＰ）和剪切滤波器的不同组合，将伪极化网格系统映射到笛卡尔坐标中，在空域对图像进行剪切波变换，从而使其具有了平移不变性。对源图像经Ｎ级ＮＳＰ分
解，可以得到Ｎ个高频子带和１个低频子带［
１２
－１３］
。３级ＮＳＳＴ分解过程如图１所示。
图１ ＮＳＳＴ分解过程
由于在ＮＳＳＴ分解与重构的过程中，没有对源图
像进行上下抽样的操作，所以不会出现频率混叠的情况，而且高低频子带与源图像大小一致（尺度不同），能够更方便地找出各子带图像中信息的对应关系。另外，ＮＳＳＴ本身具有较强的方向选择性和平移不变性，可以消除伪影，更为准确地提取源图像中有用的细节信息，提升融合图像的主观视觉。
２ 改进的融合算法
采用ＮＳＳＴ方式对已配准的源图像ＩＡ和ＩＢ进行３级分解，获取１个低频子带和３个高频子带；再采用改
２２０
计算机应用与软件
２０２１年
进平均梯度的策略对低频子带进行融合，对高频子带则采用改进的自适应ＰＣＮＮ策略进行融合；最后对融合后的高低频子带进行Ｎ
ＳＳＴ逆变换，重构出更清晰的全聚焦图像。融合过程如图２
所示。
图２ 图像融合过程
２．１ 低频子带融合策略
通过ＮＳＳＴ变换后得到的低频子带携带了图像的整体信息，根据像素点间具有相关性的规律，提出了改进的平均梯度融合算法，通过区域内像素点灰度变化情况和平均梯度来选取低频子带系数。
假设低频图像分别为Ａ和Ｂ，选择Ｎ×Ｎ的区域窗口，区域内像素点的灰度值分别用ＸＡ（ｉ，ｊ）和ＸＢ（ｉ，ｊ）表示，然后把区域中的灰度值遵循从小到大的规则排序，再将其分成均匀的四等份，对应的三个分割点分
别为ＱＡ１（ｉ，ｊ）、ＱＡ２（ｉ，ｊ）、ＱＡ３（ｉ，ｊ）和ＱＢ１（ｉ，ｊ）、ＱＢ２（ｉ，ｊ）、ＱＢ３（
ｉ，ｊ），具体步骤如下：Ｓｔｅｐ１ 计算低频图像Ａ和图像Ｂ的灰度相关值ＦＧＡ（ｉ，ｊ）和ＦＧＢ（ｉ，ｊ）：ＦＧＡ（
ｉ，ｊ）＝１
Ｎ×Ｎ∑（ｍ，ｎ）∈ＮＡ
（ｉ，ｊ）｛（ＸＡ（ｉ＋ｍ，ｊ＋ｎ）－ＸＡ（ｉ＋ｍ＋１，ｊ＋ｎ））２
＋（ＸＡ（ｉ＋ｍ，ｊ＋ｎ）－ＸＡ（ｉ＋ｍ，ｊ＋ｎ＋１））２｝１／２＋ＦｒＡ（
ｉ，ｊ）（７）ＦＧＢ
（ｉ，ｊ）＝１
Ｎ×Ｎ∑（ｍ，ｎ）∈ＮＢ（ｉ，ｊ）｛（ＸＢ
（ｉ＋ｍ，ｊ＋ｎ）－ＸＢ（ｉ＋ｍ＋１，ｊ＋ｎ））２
＋（ＸＢ
（ｉ＋ｍ，ｊ＋ｎ）－ＸＢ（ｉ＋ｍ，ｊ＋ｎ＋１））２｝１／２＋ＦｒＢ
（ｉ，ｊ）（８）式中：ＮＡ（ｉ，ｊ）和ＮＢ
（ｉ，ｊ）分别表示以点（ｉ，ｊ）为中心的区域；ＦｒＡ（ｉ，ｊ）和Ｆｒ
Ｂ（
ｉ，ｊ）分别表示图像灰度值Ｘ（ｉ，ｊ）和Ｘ（ｉ，ｊ）的全局特征值。
ＦｒＡ（ｉ，ｊ）＝
ＱＡ１（ｉ，ｊ）＋ＱＡ２（ｉ，ｊ）＋ＱＡ
３（
ｉ，ｊ）３（９）
ＦｒＢ
（ｉ，ｊ）＝ＱＢ１（ｉ，ｊ）＋ＱＢ２（ｉ，ｊ）＋ＱＢ
３（
标准韩国语第二册ｉ，ｊ）３
（１０）
根据实验可知，令参数ｒ＝５可以较好处理半清晰半模糊区域。
Ｓｔｅｐ２ 根据灰度相关值ＦＧＡ（ｉ，ｊ）和ＦＧＢ（
ｉ，ｊ）选取低频系数Ｉ（ｉ，ｊ）：
Ｉ（ｉ，ｊ）＝
Ａ（ｉ，ｊ） ＦＧＡ（ｉ，ｊ）≥ＦＧＢ（ｉ，ｊ）Ｂ（ｉ，ｊ） ＦＧＡ（ｉ，ｊ）＜ＦＧＢ
（ｉ，ｊ{
）
（１１）
为了验证提出的融合策略比空间频率具有更好的效果进行了测试实验，Ｃ和Ｄ表示多聚焦源图像，Ｉｌ为使用空间频率取大的融合策略获得的结果，Ｉｍ为本文提出方法的融合结果，将两个融合结果与源图像Ｄ分别作差，则ＳＤ，ｍ、ＳＤ，ｌ分别是得到的差值图。测试结果如图３
所示。
图３ 测试结果
可以看出：差值图ＳＤ，ｌ
在人脸面部有较大面积的信息残留，对源图像的低频子带融合效果不佳。这说明本文提出的方法较空间频率方法更能表现出灰度的变化情况，较好地保留了图像的整体信息，从而使融合图像更加清晰。
２．２ 高频子带融合策略
高频子带对应着图像的边缘和纹理细节等信息，直接关系到图像的清晰程度和视觉效果。对于高频子带的融合，本文在脉冲耦合神经网络（ＰＣＮＮ）的基础上，提出一种改进的算法。ＰＣＮＮ由多个神经元相互连接组成（反馈网络），每个神经元中又包含了接收域、调制域和脉冲生成器三个部分，并与图像中每个像
素点相对应，其输出有点火和不点火两种状态［１４］
。改
进后的单个神经元的模型如图４
所示。
图４ 改进后的ＰＣＮＮ神经元模型
由于标准的ＰＣＮＮ结构复杂，控制参数也较多，本文将其应用在对图像高频子带的融合中，对其进行了
bilateral第３期
张蕾：采用改进平均梯度与自适应ＰＣＮＮ的图像融合
实现愿望 英文２２１
简化和改进，进一步提升了处理的效率。假设图像中像素点的位置为（ｉ，ｊ），代表１个神经元，将（ｉ，ｊ）处像素点的灰度值Ｓｉｊ作为神经元的输入刺激信号，若Ｆｉｊ和Ｌｉｊ分别为神
经元的反馈和连接输入，那么经过ｎ次迭代后，得到点火输出为Ｙｉｊ。ＰＣＮＮ迭代过程描述：Ｆｉｊ（ｎ）＝Ｓｉｊ
Ｌｉｊ（ｎ）＝ｅ－αＬ
Ｌｉｊ（ｎ－１）＋ＶＬ∑ｐｑ
ωｉｊ，ｐｑＹｐｑ
（ｎ－１）Ｕｉｊ（ｎ）＝Ｆｉｊ（ｎ）（１＋βＬｉｊ
（ｎ）θｉｊ（ｎ）＝ｅ－αθ
θｉｊ（ｎ－１）＋ＶθＹｉｊ（ｎ－１）Ｙｉｊ
（ｎ）＝１ Ｕｉｊ（ｎ）＞θｉｊ（ｎ）０ {本杰明 米派德
其他
（
１２）式中：αＬ和αθ表示跟时间有关的衰减常数；ＶＬ表示连接输入的增益；Ｗｉｊ，ｋｌ表示（ｉ，ｊ）和（ｋ，ｌ）两个神经元间的连接权重；Ｕｉｊ表示内部状态信号；β表示神经元的连接强度；θｉｊ和Ｖθ分别表示动态阈值和阈值的增益。从式（１２）可看出，在整个迭代的过程中，如出现Ｕｉｊ大于θｉｊ，那么输出Ｙｉｊ为１，即神经元发出１个脉冲（点火）。在ｎ次迭代结束时，得到总的点火次数Ｔｉｊ可表征像素点（ｉ，ｊ）处的信息：
Ｔｉｊ（ｎ）＝Ｔｉｊ（ｎ－１）＋Ｙｉｊ
（ｎ）（１３）
对于整幅图像来说，每个神经元的输出就构成
ＰＣＮＮ的点火矩阵
［１５］
。其实，在图像融合的过程中，图
像边缘和轮廓的信息较单点像素信息更重要，故本文将高频子带系数引入到神经元的反馈输入。
假设在ＮＳＳＴ域中，尺度和方向分别为ｌ和ｋ，那么像素点（ｉ，ｊ）处的空间频率表示如下：
Ｓｌｋ
ｉｊ＝
∑（ｕ，ｖ）∈Ｗ［（Ｃｌ，ｋ（ｕ，ｖ）－Ｃｌ，ｋ
（ｕ－１，ｖ））２
＋（Ｃｌ，ｋ（ｕ，ｖ）－Ｃｌ，ｋ
（ｕ，ｖ－１））２］（１４）
式中：Ｃｌ，ｋ（ｕ，ｖ）表示在ＮＳＳＴ域高频子带中对应像素点（ｕ，ｖ）的剪切波系数，能够表征在空间域像素点（
ｉ，ｊ）处相邻点的边缘和轮廓等细节信息的强度。为了运算方便，对空间频率进行归一化处理，并将其作为神经元的反馈输入。
由于在整个ＰＣＮＮ中，神经元间具有耦合关系，所以每个神经元的输出点火次数都会影响相邻的神经元输出，从而促使邻域中与该空间频率偏差较小的神经元产生点火。根据ＰＣＮＮ的传导和同步特
性可知，每个像素点的信息会传播到整个网络，而神经元的输入刺激Ｓｉｊ的大小与图像细节信息成正比例关系，即刺激越大，点火次数越多。本文依据整个ＰＣＮＮ的点火总次数，自适应选取高频子带系数，具体的融合步骤如下：
Ｓｔｅｐ１ 使用Ｍ×Ｎ的窗口分别计算图像ＩＡ和ＩＢ
compounds
高频子带系数的空间频率，然后进行归一化处理，将结
果作为ＰＣＮＮ的激励输入Ｓｌｋ，ＩＡｉｊ和Ｓｌｋ，ＩＢ
ｉｊ。
Ｓｔｅｐ２ 设置迭代次为数Ｎ，对ＰＣＮＮ进行初始
化，令Ｌｌｋ，ｚｉｊ（０）＝Ｕｌｋ，ｚｉｊ（０）＝θｌｋ，ｚｉｊ（０）＝Ｙｌｋ，ｚｉｊ（
０）＝０。Ｓｔｅｐ３ 计算每次迭代的结果，利用式（１２）和式（
１３）求出总的点火次数。Ｓｔｅｐ４ 判断当前迭代次数ｎ，若ｎ小于Ｎ，则跳转到Ｓｔｅｐ３。
Ｓｔｅｐ５ 当ｎ等于Ｎ时，迭代结束，得到决策矩
阵Ｍｌ
ｋ
：Ｍｌｋ
（ｉ，ｊ）＝
１ Ｔｌｋ，ＩＡｉｊ（Ｎ）≥Ｔｌｋ，ＩＢ
ｉｊ（
Ｎ）０ {
其他
（１５）
利用式（１５）自适应选取融合图像的高频子带系数，选取策略表示为：
ＣＦ
ｌ，ｋ
（ｉ，ｊ）＝ＣＩＡ
ｌ，ｋ（ｉ，ｊ） Ｍｌｋ（ｉ，ｊ）＝１ＣＩＢｌ，ｋ
（ｉ，ｊ） Ｍｌｋ（ｉ，ｊ）{
＝０（１６）
３ 实验结果与分析
为验证本文提出的多聚焦图融合策略的有效性，对经过配准的４组多聚焦图（尺寸２５６×２５６像素）进行融合实验。实验环境：采用Ｉｎｔｅｌｉ３３．１ＧＨｚ四核ＣＰＵ，６ＧＢ内存，３００ＧＢ固态硬盘，在Ｗｉｎｄｏｗｓ７操作系统下，运行ＭＡＴＬＡＢ２０１５ａ，借助工具箱ＦＰＤＥｓ进行仿真。通过主观视觉和客观指标对融合性能进行分析和评价，五种客观评价指标分别为：
１）互信息ＭＩ。表示从源图像转移到融合图像中的信息多少，该指标越大，融合效果越佳。
２）信息熵ＥＮ。表示图像中含有的平均信息量，数值越大，信息越丰富，图像越清晰。
３）边缘信息传递因子ＱＡＢ／Ｆ
。表征融合图像对源
图像的结构和边缘的保持相似度，该指数越接近１说明融合效果越佳。
鸨母４）空间频率ＳＦ。表征空间域的活跃度，该值越大图像越清晰。
５）平均梯度ＡＧ。该值越大图像越清晰。
３．１ 不同变换域下相同融合算法比较
为验证ＮＳＳＴ变换的优越性，分别采用ＤＷＴ［６］
、ＤＴＣＷＴ［９］、ＮＳＣＴ［１０］
和ＮＳＳＴ四种不同的变换域对２组
经过配准的源图像进行分解，并利用相同的融合算法（低频取平均，高频绝对值取大）进行融合，得到的融合结果如图５所示。
２２２
计算机应用与软件
２０２１
年
（ａ）下聚焦源图
（ｂ）上聚焦源图
（ｃ）ＤＷ
Ｔ
（ｄ）ＤＴＣＷＴ（ｅ）ＮＳＣＴ（ｆ）ＮＳＳＴ
图５ 不同变换域下相同融合算法的融合结果
可以看出，虽然采用了相同的融合算法，但在四种不同变换域下的表现却有所差异。其中：由于ＤＷＴ的移变性引入了虚假信息，有块状模糊区域，图像失真较为严重；ＮＳＣＴ和ＤＴＣＷＴ结果中的细节得到大幅凸显，图像的边缘和轮廓的锐化明显，是由于采用了具有平移不变性的变换，其多尺度和多方向的分解使得图像细节信息得以保留，但整体上依然存在模糊的问题；而本文采用的ＮＳＳＴ分解方法效果得到了明显提升，块状模糊区基本消除，边缘和轮廓等细节信息相对分明完整，比较而言主观视觉效果良好，但也有不足，主要是受到高低频融合算法的约束，所以融合效果依然有提升的
空间。
为了对融合后的图像进行客观定量的评价，五种客观指标如表１所示。
表１ 不同变换域下相同融合算法的客观评价指标评价指标ＤＷＴＤＴＣＷＴＮＳＣＴＮＳＳＴＥＮ６．２６６７６．５４５９６．６３７１６．８８２０ＭＩ
１．８７０２１．８４５１１．９６６３２．０８４６Ｑ
ＡＢ／Ｆ
０．５０４７０．５２７８０．５３０
９０．５５８７Ｓ
Ｆ５．３５３５．８０７６．１８８６．３６５ＡＧ１４．８５２１４．９７４１５．１１７１５．３５８运行时间／ｓ
５．１７６
５．６８５
５．６４８
５．１１９
可以看出，采用ＮＳＳＴ变换域的效果在五种评价指标上均优于ＤＷＴ、ＤＴＣＷＴ和ＮＳＣＴ方法，表现出了ＮＳＳＴ的完美平移不变性。另外，从融合过程所需的时间方面来看，采用ＮＳＳＴ的融合时间均小于其他几种变换域，这是由于ＮＳＳＴ引入了快速傅里叶变换，在分解和重构的过程中具有更快的运算速度，也说明了ＮＳＳＴ具有更优的时效性。
３．２ 相同变换域下不同融合算法的比较
好听的女孩英文名字为了验证本文提出的改进算法对多聚焦图的融合效果，在相同的ＮＳＳＴ变换域下，将文献［１２］、文献［１３］、文献［１６］与本文的改进算法进行比较，实验对另外一幅细节更丰富的多聚焦图进行融合，得到的实
验结果如图６所示。
（ａ）右聚焦源图（ｂ）左聚焦源图（ｃ）文献［１２］
（ｄ）文献［１３］（ｅ）文献［１６］（ｆ）本文方法
图６ 不同文献融合方法的比较
从融合结果看出：虽然四种不同的融合算法均采用了相同的ＮＳＳＴ变换，均能从多聚焦源图像中获取到互补的信息，但融合结果也有明显的差异。以图６中百事可乐瓶外包装的多聚焦图像融合为例进行分析，文献［１２］的融合结果中个别区域隐约出现了块状模糊效应，文字重影严重，色泽暗淡，轮廓和细节信息有丢失现象；在文献［１３］的结果中，效果上有所改善，但文字略带重影，整体上对比度和色泽不够鲜亮，效果依然不佳；文献［１６］的融合结果，在融合效果上也得到了明显的提升，文字的重影现象有所改善，但个别区域的细节特征信息仍有缺失；本文算法的融合结果相比上述几种算法效果更好，图像整体上看更鲜亮，区域特征明显，文字的重影基本消失，图６（ｆ）右侧条形码纹理更清晰，对比度适中，主要是由于在ＮＳＳＴ变换域的基础上对融合算法进行了改进，对低频采用了改进平均梯度的融合策略，对高频采用了自适应ＰＣＮＮ的融合策略，使得融合效果大幅改善，主观视觉表现更优。
同样，采用五种客观指标对融合后的图像进行定量的客观评价，结果如表２所示。
表２ 相同变换域下不同融合算法的客观评价指标评价指标文献［１２］文献［１３］文献［１６］本文方法ＥＮ６．７３６３６．９２１７６．９４５０７．１２２８ＭＩ
１．９７６７２．００３４２．１８５９２．３０４２Ｑ
ＡＢ／Ｆ０．５６８５
０．５８７２
０．６０１８
０．６２４５
