一种基于自编码器的全线偏振图像融合方法
1.本发明属于偏振图像的处理及信息融合技术领域，具体涉及一种基于自编码器的全线偏振图像融合方法。
背景技术：
2.相比传统成像技术只能获得目标的强度图像和光谱信息，偏振成像能够获得目标的应力属性、双折射属性、粗糙度、光照信息、边缘信息、表面取向等，更适用于水下探测、大气遥感探测、以及伪装目标等场景。故偏振成像作为一种获取目标图像信息的重要手段，目前在军事目标、环境监测、生物医学检测等领域有着广泛的应用。
3.偏振成像融合技术是一种利用偏振特征信息和光强信息实现目标检测的新型光电成像探测技术，能够揭示目标的多维特征、增强目标的对比度。利用偏振特征可以求出强度、线偏振度、线偏振角图像，进而获取目标的结构、粗糙度、阴影等细节。目前针对偏振图像融合的研究主要是将强度图、线偏振度图、线偏振角图像映射到伪彩空间以提供更多的偏振信息，但是这类研究适用于人眼观察，难以扩展至机器视觉领域的目标检测。另一种近期流行的相关研究是从光强图和线偏振度图像中提取目标的特征，通过多尺度分解、稀疏表示或者深度学习方法进行图像重建恢复。但是线偏振度图像亮度低，在水下探测等领域不具优势，难以广泛应用至复杂的场景。由于线偏振度图和线偏振角图像对光照环境敏感，且与目标的物理性质密切相关，在自然场景下易表现出显著的偏振模糊，故目前从信息维度出发的偏振图像融合首先需要对偏振图像做去噪处理，但效果仍然不理想，甚至去噪可能会丢失部分图像细节，对于户外自然环境仍束手无策(户外场景噪声非常显著)。如何从复杂目标的多种偏振态中提取偏振信息并与光强图像融合获得良好的效果，进而提高复杂背景下的目标检测能力是偏振技术应用的关键。
技术实现要素：
4.为了解决上述存在的技术问题，本发明设计了一种基于自编码器的全线偏振图像融合方法，利用偏振成像技术和基于卷积神经网络的自编码器对光强、线偏振度、线偏振角信息进行深层特征的提取，实现全线偏振图像的融合与增强，提高了在复杂目标下的目标探测性能。
5.为了解决上述存在的技术问题，本发明采用了以下方案：
6.一种基于自编码器的全线偏振图像融合方法，包括以下步骤：
7.步骤1，对由偏振成像技术获取的偏振图像进行stokes解算，得到4个stokes参量s0，s1，s2，s3，公式如下：
[0008][0009]
并根据偏振图像的stokes矢量确定线偏振度图像dolp和线偏振角图像aolp：
[0010][0011][0012]
其中，s0表示光强图像，s1表示线性或垂直线偏振分量图像，s2表示45度或135度处的线性偏振分量图像，s3表示光束中右旋或左旋的偏振分量图像，在自然环境中，圆偏振分量很小，可忽略；i0、i
45
、i
90
、i
135
分别表示0
°
、45
°
、90
°
、135
°
四个偏振方向的出射光强偏振图像，i
l
和ir分别表示左、右旋圆偏振图像；
[0013]
步骤2，获得线偏振度图像dolp、线偏振角图像aolp的映射以形成新的偏振特征图像，将线偏振度图像dolp、线偏振角图像aolp的映射分别记为l1、l2：
[0014]
l1＝dolp
·
cos（2aolp)公式(4)
[0015]
l2＝dolp
·
sin(2aolp)公式(5)；
[0016]
步骤3，利用局部直方图均衡算法对光强图像s0进行局部均衡处理，调整其像素值分布；
[0017]
步骤4，将所述步骤3处理后的光强图像s0、由公式(4)和公式(5)获得的偏振特征图像l1和l2，送入预训练好的基于自编码器的图像融合网络，所述图像融合网络包括编码器、融合层、解码器；所述步骤3处理后的光强图像s0、l1和l2分别经过编码器进行特征提取后获得的高维度特征在融合层对应加权，再通过解码器重建生成融合图像。
[0018]
进一步，所述步骤1具体包括：
[0019]
步骤11，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；其图片基于分焦平面偏振传感器捕获，其关键部件是焦平面阵列，其中每四个微偏振器分别收集0
°
、45
°
、90
°
和135
°
方向的偏振光，形成一个2
×
2的超级像素，这些具有周期性的超级像素被排列在焦平面上，使分焦平面偏振传感器能够同时获得四个方向的偏振图像；
[0020]
步骤12，将所述步骤11中获得的偏振图像解码成四个偏振方向的出射光强偏振图像i0、i
45
、i
90
、i
135
；此外，i
l
和ir分别表示左、右旋圆偏振图像；
[0021]
步骤13，对所述步骤12得到的四张偏振图像分量i0、i
45
、i
90
、i
135
进行stokes偏振态解算，得到偏振图像的4个stokes参量s0，s1，s2，s3；
[0022]
步骤14，根据偏振图像的stokes矢量确定线偏振度图像dolp和线偏振角图像aolp。
[0023]
进一步，所述步骤12中的解码方案采用牛顿插值法或双线性插值法或双三次插值法。
[0024]
进一步，所述步骤4中，基于自编码器的图像融合网络的训练，训练数据集在ms-coco通用数据集上实施，训练数据集中的训练数据通过裁剪、旋转、翻转数据增强后分别在编码器中生成不同目标的高维特征，并解码获得重建后的图像，由损失函数约束，不断调整训练，直到最后生成器生成的图像与真实图像在允许的差异范围内；
[0025]
其中的网络设计如下：
[0026]
编码器，即特征提取阶段，使用一个标准卷积层和一个级联密集连接的卷积块组合，分别用于提取粗糙特征和深层特征，得到训练集的源图像的多维特征图；其中，级联密集连接的卷积块由三个卷积层组成，每一层的输出被用作所有后续层的输入；所有的卷积
层由卷积核、批量归一层和relu激活层组成；网络中所有卷积核的尺寸都相同，均为3x3，自编码器的各个卷积层的维度都是16，其中，最后一个卷积层不包含relu层；
[0027]
融合层，融合层的机制是像素加权，不参与网络训练；
[0028]
解码器，即图像重建阶段，该阶段从高层次的特征中恢复出最后的融合结果；解码器由5层卷积层组成，各卷积层的维度分别是64， 32，16，8，1；
[0029]
损失函数对特征提取和图像重建效果非常重要，将其设计为：
[0030][0031]
通过最小化实现图像融合的性能，其中经实验尝试确定权重
[0032]
为1000，θ是神经网络中的训练参数，c指训练数据集 ms-coco，损失函数由两部分组成，分别是结构相似性损失函数l
ms-ssim
和梯度损失函数lg：
[0033][0034][0035]
其中ms-ssim常常作为全参考的图像质量评价指标，用来驱动if融合图像不断向is输入图像靠近；分别是融合结果和源图像的梯度量，是拉普拉斯提度算子，||
·
||表示弗罗贝尼乌斯范数，h、w分别为图像的长和宽。
[0036]
进一步，训练数据集在ms-coco通用数据集上实施，其中上百万张图像参与训练，参与训练的图像既包括通用图像也包括偏振图像。
[0037]
进一步，由偏振成像技术获取的偏振态图像包括来自室内、室外、还有近红外场景的图像。
[0038]
该基于自编码器的全线偏振图像融合方法具有以下有益效果：
[0039]
(1)本发明基于自编码器的全线偏振图像融合方法，与传统的将图像映射到伪彩空间方法相比，更适用于解释场景的物理属性，并且便于与硬件设施协作实现工业检测、医学诊断检测、大气遥感探测、水下成像等领域的目标探测。
[0040]
(2)本发明基于自编码器的全线偏振图像融合方法，与仅仅利用光强图和线偏振度图像融合方法相比，引入了对偏振度和偏振角图像的有效提取和融合，并且抑制了来自偏振态的噪声，即使是在户外这种光照不可控、物质材料各异的场景，也能重建出场景的绝大部分信息，有效提高了复杂场景下的目标检测准确率。
[0041]
(3)本发明基于自编码器的全线偏振图像融合方法，与常规多尺度分解的偏振图像融合方法相比，能够反映图像中的阴影、边缘信息，且不会引入伪gibbs效应，更适于偏振图像融合。
[0042]
(4)本发明基于自编码器的全线偏振图像融合方法，使用通用数据集ms-coco训练，避免了偏振图像数据集少并且针对偏振融合领域，没有真实图像的问题。
[0043]
(5)本发明基于自编码器的全线偏振图像融合方法，与通常的偏振图像融合方法相比，增加了光强图的目标增强，进一步增加了目标细节，提高了对比度，更适合非相关研究者的观察和场景的识别。
[0044]
(6)本发明基于自编码器的全线偏振图像融合方法，面向卷积神经网络的特征提取和重建，网络结构设计简单，卷积核的大小为3
×
3，最大通道数不超过64维，尽管是基于三张源图像的融合，但在融合效果和计算效率之间取得较好的平衡。
[0045]
(7)本发明基于自编码器的全线偏振图像融合方法，因其分目标提取特征的操作，使得算法适用于多张图像的融合，可拓展至多曝光图像融合、多聚焦图像融合、可见光和红外图像融合。
附图说明
[0046]
图1：本发明实施方式中基于自编码器的全线偏振图像融合方法的流程图；
[0047]
图2：本发明实施方式中自编码器的网络模型示意图；
[0048]
图3：本发明与现有技术的效果对比图。
具体实施方式
[0049]
下面结合附图，对本发明做进一步说明：
[0050]
图1至图3示出了本发明一种基于自编码器的全线偏振图像融合方法的具体实施方式。图1是本实施方式中基于自编码器的全线偏振图像融合方法的流程图；图2是本实施方式中自编码器的网络模型示意图；图3是本实施方式中本发明与现有技术的效果对比图。
[0051]
如图1所示，本实施方式中的基于自编码器的全线偏振图像融合方法，包括以下步骤：
[0052]
步骤1，对由偏振成像技术获取的偏振图像进行stokes解算，得到4个stokes参量s0，s1，s2，s3，公式如下：
[0053][0054]
并根据偏振图像的stokes矢量确定线偏振度图像dolp和线偏振角图像aolp：
[0055][0056][0057]
其中，s0表示光强图像，s1表示线性或垂直线偏振分量图像，s2表示45度或135度处的线性偏振分量图像，s3表示光束中右旋或左旋的偏振分量图像，在自然环境中，圆偏振分量很小，可忽略；i0、i
45
、i
90
、i
135
分别表示0
°
、45
°
、90
°
、135
°
四个偏振方向的出射光强偏振图像，i
l
和ir分别表示左、右旋圆偏振图像；
[0058]
步骤2，获得线偏振度图像dolp、线偏振角图像aolp的映射以形成新的偏振特征图像，将线偏振度图像dolp、线偏振角图像aolp的映射分别记为l1、l2：
[0059]
l1＝dolp
·
cos(2aolp)公式(4)
[0060]
l2＝dolp
·
sin(2aolp)公式(5)；
[0061]
根据公式(2)和公式(3)得到的线偏振度dolp和线偏振角图像aolp，相比强度图能够反映光照、粗糙度、边缘、应力分布、双折射性质、表面取向等信息。dolp整体对比度高，亮度低，细节较少；而aolp亮度高、细节多，尤其是在低光照条件下表现出更大的优势，但同时aolp放大了噪声，呈过曝的状态。因此本发明提出上述对线偏振度、线偏振角的映射；
[0062]
步骤3，利用局部直方图均衡算法对光强图像s0进行局部均衡处理，调整其像素值
分布；
[0063]
步骤4，将所述步骤3处理后的光强图像s0、由公式(4)和公式 (5)获得的偏振特征图像l1和l2，送入预训练好的基于自编码器的图像融合网络，所述图像融合网络包括编码器、融合层、解码器；所述步骤3处理后的光强图像s0、l1和l2分别经过编码器进行特征提取后获得的高维度特征在融合层对应加权，再通过解码器重建生成融合图像。
[0064]
优选地，所述步骤1具体包括：
[0065]
步骤11，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；其图片基于分焦平面偏振传感器捕获，其关键部件是焦平面阵列，其中每四个微偏振器分别收集0
°
、45
°
、90
°
和135
°
方向的偏振光，形成一个2
×
2的超级像素，这些具有周期性的超级像素被排列在焦平面上，使分焦平面偏振传感器能够同时获得四个方向的偏振图像；
[0066]
步骤12，将所述步骤11中获得的偏振图像解码成四个偏振方向的出射光强偏振图像i0、i
45
、i
90
、i
135
；此外，i
l
和ir分别表示左、右旋圆偏振图像；
[0067]
步骤13，对所述步骤12得到的四张偏振图像分量i0、i
45
、i
90
、i
135
进行stokes偏振态解算，得到偏振图像的4个stokes参量s0，s1，s2， s3；
[0068]
步骤14，根据偏振图像的stokes矢量确定线偏振度图像dolp和线偏振角图像aolp。
[0069]
优选地，所述步骤12中的解码方案采用牛顿插值法或双线性插值法或双三次插值法。本实施例中采用了牛顿插值法。
[0070]
优选地，所述步骤4中，基于自编码器的图像融合网络的训练，训练数据集在ms-coco通用数据集上实施，训练数据集中的训练数据通过裁剪、旋转、翻转等数据增强后分别在编码器中生成不同目标的高维特征，并解码获得重建后的图像，由损失函数约束，不断调整训练，直到最后生成器生成的图像与真实图像几乎没有差异(即最后生成器生成的图像与真实图像在允许的差异范围内)；
[0071]
其中的网络设计如下：
[0072]
编码器，即特征提取阶段，使用一个标准卷积层和一个级联密集连接的卷积块组合，分别用于提取粗糙特征和深层特征，得到训练集的源图像的多维特征图；其中，级联密集连接的卷积块由三个卷积层组成，每一层的输出被用作所有后续层的输入；所有的卷积层由卷积核、批量归一层和relu激活层组成；网络中所有卷积核的尺寸都相同，均为3x3，自编码器的各个卷积层的维度都是16，其中，最后一个卷积层不包含relu层；
[0073]
融合层，融合层的机制是像素加权，不参与网络训练；
[0074]
解码器，即图像重建阶段，该阶段从高层次的特征中恢复出最后的融合结果；解码器由5层卷积层组成，各卷积层的维度分别是64， 32，16，8，1；
[0075]
损失函数对特征提取和图像重建效果非常重要，将其设计为：
[0076][0077]
通过最小化实现图像融合的性能，其中经实验尝试确定权重
[0078]
为1000，θ是神经网络中的训练参数，c指训练数据集 ms-coco，损失函数由两部分组成，分别是结构相似性损失函数l
ms-ssi 和梯度损失函数lg：
[0079]
[0080][0081]
其中ms-ssim常常作为全参考的图像质量评价指标，用来驱动if融合图像不断向is输入图像靠近；分别是融合结果和源图像的梯度量，是拉普拉斯提度算子，||
·
||表示弗罗贝尼乌斯范数，h、w分别为图像的长和宽。基于深度学习的自编码器一方面处理速度快，另一方面特征表示能力强。尽管本发明实现三幅图像的融合，但处理速度依然很快且避免了原偏振态的噪声，达到更好的融合效果。
[0082]
优选地，训练数据集在ms-coco通用数据集上实施，其中上百万张图像参与训练，参与训练的图像既包括通用图像也包括偏振图像。
[0083]
优选地，由偏振成像技术获取的偏振态图像包括来自室内、室外、还有近红外场景的图像。其中，室外目标图像的线偏振度、线偏振角噪声很大，其偏振模糊最为显著，本发明中提出的映射l1，l2很大程度上解决了该问题，保留了线偏振度、线偏振角的高频信息。
[0084]
本实施例中，使用python语言配合tensorflow深度学习框架执行基于自编码器的全线偏振图像融合。根据预先构建的损失函数公式 (6)、公式(7)、公式(8)，ms-coco数据集训练基于自编码器的图像融合网络模型，并保存模型及其参数。
[0085]
本实施例中，如图3所示，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；然后，将偏振图像解码成四个偏振方向的出射光强偏振图像i0、i
45
、i
90
、i
135
，并对四张偏振图像分量i0、i
45
、 i
90
、i
135
进行stokes偏振态解算，得到偏振图像的4个stokes参量s0， s1，s2，s3，如图3中的(a)；然后，根据目标图像的stokes矢量确定线偏振度图像dolp和线偏振角图像aolp,如图3中的(b)和(c)；然后，根据公式(4)和公式(5)得到线偏振度图像dolp、线偏振角图像aolp的映射以形成新的偏振特征图像l1，l2，如图3中的(d) 和(e)；然后，利用局部直方图均衡算法对光强图像s0进行局部均衡处理，调整其像素值分布；然后，将均衡处理后的光强图像s0、偏振特征图像l1和l2送入预训练好的基于自编码器的图像融合网络模型，如图2所示，利用预训练好的基于自编码器的图像融合网络模型将均衡处理后的光强图像s0、偏振特征图l1，l2送入自编码器，提取各图像的高维度特征，经过编码器提取特征之后，共有3
×
64维的特征图；来自三幅源图像的64维特征在融合层对应加权，获得1
×
64维的特征图，之后送入解码器，各卷积层逐步恢复重建出最终的融合图，如图3 中的(j)。相比较图3中(f)-(i)分别是fevip、lpf、pfnet、deepfuse 使用(a)和(b)得到的偏振融合结果，本发明效果更好。本发明获得线偏振度、线偏振角的映射以形成新的偏振特征图像，并与光强图像组合获得一组新的数据范式，再利用基于卷积神经网络的自编码器从目标的光强信息和偏振特征图像进行特征提取、特征融合，图像重建。这种偏振数据映射能够最大程度降低由材料属性和光照环境引起的偏振模糊，并对各类场景具有鲁棒性，通过自编码器的图像融合方法能够使得特征得以充分的提取并融合，保留并增强目标的偏振信息，提高复杂背景下的目标检测能力。
[0086]
本发明具有以下有益效果：
[0087]
本发明基于自编码器的全线偏振图像融合方法，与传统的将图像映射到伪彩空间方法相比，更适用于解释场景的物理属性，并且便于与硬件设施协作实现工业检测、医学诊断检测、大气遥感探测、水下成像等领域的目标探测。
[0088]
本发明基于自编码器的全线偏振图像融合方法，与仅仅利用光强图和线偏振度图
像融合方法相比，引入了对偏振度和偏振角图像的有效提取和融合，并且抑制了来自偏振态的噪声，即使是在户外这种光照不可控、物质材料各异的场景，也能重建出场景的绝大部分信息，有效提高了复杂场景下的目标检测准确率。
[0089]
本发明基于自编码器的全线偏振图像融合方法，与常规多尺度分解的偏振图像融合方法相比，能够反映图像中的阴影、边缘信息，且不会引入伪gibbs效应，更适于偏振图像融合。
[0090]
本发明基于自编码器的全线偏振图像融合方法，使用通用数据集 ms-coco训练，避免了偏振图像数据集少并且针对偏振融合领域，没有真实图像的问题。
[0091]
本发明基于自编码器的全线偏振图像融合方法，与通常的偏振图像融合方法相比，增加了光强图的目标增强，进一步增加了目标细节，提高了对比度，更适合非相关研究者的观察和场景的识别。
[0092]
本发明基于自编码器的全线偏振图像融合方法，面向卷积神经网络的特征提取和重建，网络结构设计简单，卷积核的大小为3
×
3，最大通道数不超过64维，尽管是基于三张源图像的融合，但在融合效果和计算效率之间取得较好的平衡。
[0093]
本发明基于自编码器的全线偏振图像融合方法，因其分目标提取特征的操作，使得算法适用于多张图像的融合，可拓展至多曝光图像融合、多聚焦图像融合、可见光和红外图像融合。
[0094]
总之：本发明在深度学习的强大特征提取能力上，设计了基于自编码器的图像融合网络，由损失函数约束图像融合的性能，在偏振成像的基础上，设计了一种新的偏振特征图像与光强图像融合，增加了融合图像的细节，利用偏振特征对场景的阴影、粗糙度、边缘等属性进行补充增强，且抑制了因光照和物质特性造成的偏振模糊，适用于偏振图像融合和复杂场景下的目标探测系统中。
[0095]
上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。
