学术论著
收稿日期：2020-04-09
[10][11][12][13][14]Hurkmans CW,Remeijer P,Lebesque JV,et al.
Set-up verification using portal imaging,review of current clinical practice[J].Radiother Oncol,2001,58(2):105-120.
Rasch C,Steenbakkers R,van Herk M.Target
definition in prostate,head,and neck[J].Semin Radiat Oncol,2005,15(3):136-145.
吴晓辉，许敬辉，黎杰，等.旋转调强放射治疗角间
距对于深浅部靶区剂量优化的影响[J].中国医学装备,2018,15(4):34-38.
岳丹，杨永净，赵玲.kV-CBCT图像引导鼻咽癌调
强放疗的精确性研究[J].中华放射医学与防护杂志,2016,36(3):211-215.
Fenoglietto P,Bourgier C,Riou O,et al.[Impact
of intensity-modulated radiotherapy on node irradiation for breast cancer][J].Cancer Radiother,2015,19(4):265-270.
中国医学装备2021年3月第18卷第3期 China Medical Equipment 2021 March V ol.18 No.3
[文章编号] 1672-8270(2021)03-0032-05 [中图分类号] R812 R445.2 [文献标识码] A
Study on the improved algorithm of CT and MR image fusion bad on non-subsampled contourlet transformation/WEI Zhi-jiao, WANG Meng, DONG Xiang-li, et al//China Medical Equipment,2021,18(3):32-36.[Abstract] Objective: T o propo a novel strategy for CT and MR image fusion ba on improved algorithm of non-subsampled contourlet transformation (NSCT). Methods: The pre-registered CT and MR source images were initially decompod into low frequency (LF) and high frequency (HF) sub-images by NSCT improved algorithm. Then, the principle that cho the maximum entropy of square was adopted to implement coefficient fusion of
LF sub-image, and weighted sum-modified Laplacian was ud for coefficient fusion of HF sub-image. The inver transformation of NSCT improved algorithm was adopted to reconstruct fud sub-image so as to obtain fud image. The simulated experiment respectively lected artificial synthesis and clinical ca to implement CT and MR image fusion. Finally, the information entropy, cross entropy, mutual information, correlation coefficient, spatial frequency, error ratio of spatial frequency and edge strength were adopted to quantitatively evaluate the fud effects of NSCT improved algorithm, pixel fusion method, discrete wavelet transform (DWT), discrete contourlet transformation (DCT) and NSCT algorithm. Results: The contrast of fud image and the marginal sharpness bad on NSCT improved algorithm were optimal. In evaluation of fusion, the average information entropy, cross entropy, mutual information, spatial frequency, error rate of spatial frequency, correlation coefficient and edge strength of the improved algorithm were optimal. And compared with pixel fusion method, DWT , DCT and NSCT , the incread ranges of the indicators of NSCT improved algorithm were 9.54%, 58.19%, 31.38%, 44.97%, 5.46%, 28.66%, 12.33%, 120.64%, 51.48%, 81.21%, 3.44%, 5.19% and 6.63%, 164.32%,respectively. Conclusion: The fusion performance of NSCT improved algorithm is superior, and it has higher universality, and it is a new kind of feasible fud algorithm for CT and MR image.
[Key words] Non-subsampled contourlet transformation (NSCT); Improved algorithm; Computer tomography (CT); Magnetic resonance imaging (MRI); Image fusion
[First-author’s address] Department of Radiotherapy, The Air Force Hospital of PLA Eastern Theater Command, Nanjing 210002, China.
[摘要] 目的：提出一种基于非下采样轮廓波变换(NSCT)改进算法的CT与MR图像融合新策略。方法：采用NSCT改进算法将配准的CT与MR图像分解为高频和低频子图像，采用平方熵取大原则进行低频子图像系数融合，采用调制拉普拉斯加权求和法进行高频子图像系数融合；采用NSCT改进算法逆变换重构融合子图像获得融合图像。仿真实验分别选用人工合成和临床实例进行CT与MR图像融合。采用信息熵、交叉熵、互信息、相关系数、空间频率、空间频率错误率和边缘强度等定量评价NSCT改进算法、像素融合法、离散小波变换(DWT)、离散轮廓波变换(DCT)和NSCT算法的融合效果。结果：基于NSCT改进算法的融合图像对比度和边缘清晰度均最优。融合评价中改进算法的平均信息熵、交叉熵、互信息、空间频率、空间频率错误率、相关系数和边缘强度均最优，较像素融合法、DWT、DCT和NSCT的4种算法分别提升9.54%～58.19%、31.38%～44.97%、5.46%～28.66%、12.33%～120.64%、51.48%～81.21%、3.4%～5.19%和6.63%～164.32%。结论：NSCT改进算法融合性能优越，具有较高的普适性，是一种可行的CT和MR图像融合算法。[关键词] 非下采样轮廓波变换(NSCT)；改进算法；计算机断层显像(CT)；磁共振成像(MRI)；图像融合DOI: 10.3969/J.ISSN.1672-
8270.2021.03.008
卫志娇① 王 蒙① 董相利① 朱 红②*
基于非下采样轮廓波变换的CT和MR
图像融合改进算法研究
①解放军东部战区空军医院放疗科 江苏 南京 210002
②南京中医药大学附属中西医结合医院放射科 江苏 南京 210028作者简介：卫志娇，女，(1990- )，本科学历，技师，从事放射治疗工作。
医学影像设备的发展为临床诊断提供多种模态图像，单一模态影像仅能提供特定且有限的医学信息，不同模态图像之间信息存在互补和冗余[1]。CT成像
对骨骼、增强血管、钙化等高密度组织较为敏感，而MRI能提供更丰富的软组织信息，但组织边界欠清晰。临床上常需要结合两种模态图像进行诊疗，将
学术论著
CT与MR图像结合在一幅图像上显示人体解剖和生理特征，以便获得对同一目标更直观、精准的信息。医学图像融合技术是目前能同时结合多种模态图像信息的方法，已被广泛应用于影像诊断、介入治疗以及图像引导放射治疗等领域[2]。
近些年，多种性能优越的图像融合算法被提出，其中非下采样轮廓波变换(non-subsampled contourlet transform，NSCT)算法充分利用轮廓波变换的多尺度分解优势，同时去除下采样滤波过程，引入方向滤波器组，有效地抑制融合图像伪吉布斯现象，保证NSCT变换后图像依然具有平移不变性和良好的方向性，使得NSCT 成为一种有效的多尺度分析工具[3]。基于此，本研究提出一种基于NSCT改进算法的CT与MR图像融合新策略。1 非下采样轮廓波变换理论1.1 NSCT 原理
NSCT变换由非下采样金字塔(non-subsampled pyramid，NSP)和非下采样方向滤波器组(non-subsampled directional filter bank，NSDFB)构成，先由拉普拉斯金字塔变换对图像进行多分尺度分解，捕捉高频信息，再通过方向滤波器组进一步分解得到不同方向子带[4]。NSCT变换分解过程见图1。
图1显示，NSP的基本结构是双通道非下采样滤波器组(图1A)，其中H k (Z )(k =0,1)表示第一层分解滤
波器，G k (Z )(k =0,1)表示综合滤波器。一次NSP滤波可产生一个低通子带图像(y 0)和一个带通方向子带图像(y 1)，尺寸均与源图像大小相同。如需对源图像进行多尺度分解，可对低通子带图像进行上采样进一步迭代滤波，产生一系列高频子带和一个低频子带，金字塔两级分解结构见图1B，图中一次分解产生低通数字图像H 0(Z )，和带通数字子图像H 1(Z )，两次分解产生低通数字图像H 0(Z 2
)和带通数字子图像H 1(Z 2
)。非下采样方向滤波器组的基本模块是扇形的双通道非采样滤波器组，理想的频率响应特性见图1C，将频域平面分成多方向的楔形块状结构，代表源图像在响应方向
上的细节信息，最终形成一个由多个双通道NSDFB 构成的滤波结构。联合第1级扇形滤波器和第2级棋盘滤波器可实现4个方向上的频率分解(图1D)。如对子带图像进行L层分解，可产生2L 个与源图像尺寸相同的方向子带图像。由此图像经L层NSCT分解后可得1
durex是什么意思个低频子带图像和1+∑j L
=12l j
个带通方向子图像，l j 为j
尺度下多方向分解级数，其中NSCT变换的8方向和
4方向子带图像分解的频率划分见图1E。1.2 图像融合改进算法
多模态医学图像在融合之前需要进行图像配准、图像尺寸调整和滤波等预处理[5]。预处理后的CT和MR图像融合流程为：①选取高度配准的CT与MR图像作为源图像；②采用NSCT对源图像进行2次分解，获得各尺度和不同方向的高低频子带系数；③采用平方熵取大原则进行低频子图像系数融合，采用调制拉普拉斯加权求和法进行高频子图像系数融合；④对
hard ll融合子图像进行NSCT逆变换，获得CT与MR融合图像。基于改进算法的CT和MR图像融合流程见图2。
中国医学装备2021年3月第18卷第3期 基于非下采样轮廓波变换的CT 和MR 图像融合改进算法研究-卫志娇 等
注：图中A 为非下采样轮廓波变换结构；B 为双通道金字塔滤波器；C 为双通道方向滤波器组；D 为四通道方向滤波器
组；E 为非下采样轮廓波变换的频带划分
图1 非下采样轮廓波变换原理
A B C
D
E
图2 基于非下采样轮廓波变换改进算法的
CT 和MR
图像融合
1.3 低频系数融合规则
低频子带系数代表源图像主体信息[6]。传统的低频融合规则采用平均法，存在降低图像对比度和丢失图像细节信息的缺点。本研究首先计算各低频子图像3×3矩阵邻域内系数平方的熵值，取较大值作为低频融合系数。邻域内系数平方熵值计算为公式1、公式2和公式3：
a L
(m ,n )=Σ Σ[C L (m +1,n +j )]2log ([C L (m +1,n +j )]2)/9a L
(m ,n )=Σ Σ[C L (m +1,n +j )]2log ([C L (m +1,n +j )]2)/9A
B B B A A 1
1i =-1i =-1j =-1
j =-11
1(1)(2)
学术论著
a L (m ,n )≥a L (m ,n )a L (m ,n )≥a L (m ,n )
C L
(m ,n )={C L
(m ,n ),C L (m ,n ),A A B B
F A
B
(3)
式中a L (m ,n )A
生于忧患翻译、a L (m ,n )B 分别为子图像A 、B 中以(m ，n )为中心的邻域低频系数平方的熵，C L (m ,n )A
、C L (m ,n )B 和C L (m ,n )F
分别表示低频子图像A 、B 和融合图像F 的系
数。图像A ，B 指代两幅待融合子图像，F 代表融合后图像，便于公式理解。1.4 高频系数融合规则
源图像经NSCT分解后产生水平、垂直和对角线3个方向高频子图像，代表图像的边缘、轮廓和目标边界信息，在同一分解尺度上，3个高频子图像对应位置的系数大小不等，图像细节信息主要集中在系数最高的方向上。常用的融合规则是系数绝对值取大，只考虑了单个系数值比较，并未考虑邻域空间特征，且对噪声敏感[7]。本研究提出调制拉普拉斯变换加权求和规则，既考虑邻域像素之间关联性，同时最大限度保留源图像细节部分，保证图像边缘强度和清晰度。首先构造调制拉普拉斯变换形式，其次进行加权求和，改进算法为公式4和公式5：
ML f (x ,y )=|2f (x ,y )-f (x -1,y )-f (x +1,y )|+|2f (x ,y )-f (x ,y -1)-f (x ,y +1)|
WSML [f (x ,y )]=ΣΣω(i+1,j+1)*ML f (x+i ,y+j )1
i
=-1j =-1
1
(5)
(4)式中ML为调制拉普拉斯变换；WSML为调制拉普拉斯变换加权求和。
对各方向高频系数进行调制拉普拉斯变换加权求和，取大者为融合图像系数，其计算为公式6、公式7、公式8和公式9：C d,k (m ,n ),ω=1
1212421
21
16
fagorgentle的副词(6)(7)
(8)(9)
a d,k (m ,n )=WSML [C d,k (m ,n )]a d,k
(m ,n )=WSML [C d,k (m ,n )]C d,k (m ,n )=A B F
B B A
A C d,k (m ,n ),
a d,k (m ,n )≥a d,k (m ,n )a d,k (m ,n )≥a d,k (m ,n )A A B B
式中ω代表曼哈顿距离加权矩阵，C d,k (m ,n )A 、C d,k (m ,n )B
新东方英语六级和C d,k (m ,n )F 表示源图像A、B和融合图像F第d层分解后第k个方向子带图像(m ,n )位置上的系数，a d,k (m ,n )A 、a d,k
(m ,n )B 和a d,k (m ,n )F
表示对应高频系数的调制拉普拉斯变换加权求和，k表示水平、垂直及对角线方向。1.5 图像融合效果评价
(1)图像融合运行环境。选用两个数据集进行融合实验，数据集1包含1组人工合成的CT和MR脑部图像，
数据集2包含9组CT和MR脑部临床实例图像。图像大小均为256×256，具有256个灰阶。改进算法与像素融合、离散小波变换(discrete wavelet transform，DWT)、离散轮廓波变换(discrete contourlet Transform，DCT)以及NSCT等方法进行比较，其余算法融合规则均为低频系数取平均，高频系数绝对值取大。所有融合算法均在Matlab 2017a开发环境下运行实现。
(2)图像融合效果。图像融合效果定性分析基于图像的视觉分析，定量分析采用信息熵、交叉熵、互信息、空间频率、空间频率错误率、相关系数和边缘强度指标，其中交叉熵和空间频率错误率越小，其余互信息、空间频率错误率、相关系数和边缘强度4个指标越大，表明图像融合效果越佳[8]。1.6 统计学方法
采用GraphPad Prism6统计分析软件。符合正态
分布的计量资料以均值±标准差(x
-±s )表示，不同融合算法所得评价指标之间差异采用单因素方差分析，以P <0.05为差异有统计学意义。2 结果2.1 定性分析
视觉效果显示，基于本研究算法的所有融合图像清晰度、对比度和分辨率均最高，融合图像完整结合CT和MR图像的主体信息，突出CT和MR图像的细节信息(病变和轮廓)。其余4种算法所得融合图像亮度均较弱，其中像素法融合图像中CT和MR细节部分不突出，病灶和轮廓灰暗程度最强，其他3种方法所得融合图像质量肉眼判断无显著差别。不同算法图像融合结果见图3。
2.2 定量评价
铁幕演说是谁发表的
(1)人工合成图像融合。不同算法的人工合成图像融合定量评估结果见表1。
(2)临床实例图像融合。不同算法的9组临床实例图像融合定量评价指标见表2。单因素方差分析结果显示，不同融合算法所得信息熵、交叉熵、互信息、空间频率、空间频率错误率和边缘强度之间差异具均有统计学意义(F =23.04，F =12.14，F =2.87，F =17.07，F =71.29，F =29.15；P ＜0.05)，相关系数之间差异无统计学意义(F =0.047，P ＞0.05)，见表2。3 讨论
图像融合分为像素级融合、特征级融合和决策级融合，其中像素级融合直接对源图像像素空间进
中国医学装备2021年3月第18卷第3期 基于非下采样轮廓波变换的CT 和MR 图像融合改进算法研究-卫志娇 等
{
学术论著
委托行
注：①图中DWT 为离散小波变换，DCT 为离散轮廓波变换，NSCT 为非下采样轮廓波变换；②A 为CT 图像，B 为MR 图像，C 为像素融合法，D 为离散小波变换，E 为离散轮廓波变换，F 为非下采样轮廓波变换，G 为本研究算法
图3
基于人工合成图像的不同图像融合算法结果A B C D E F G
表1 基于人工合成图像的不同融合算法定量指标比较
评价指标像素融合法DWT算法DCT算法NSCT算法改进算法信息熵 5.910 6.095 6.199 6.065 6.756交叉熵0.4460.4890.4670.4950.109互信息 5.167 3.098 2.783 3.312 5.784空间频率10.28214.19214.05813.89318.568空间频率错误率0.5120.3140.3480.3560.103相关系数0.8560.8170.8210.8230.909边缘强度
0.426
0.516
0.448
0.569
0.793
注：表中DWT 为离散小波变换；DCT 为离散轮廓波变换；NSCT 为非下采样轮廓波变换
表2 临床实例图像的不同融合算法定量指标比较(x
-±s )评价指标像素法DWT DCT NSCT 改进算法F 值P 值信息熵 3.318±0.482 4.846±0.573 5.312±0.634 4.672±0.592 5.819±0.63523.04<0.001交叉熵0.478±0.0850.549±0.1020.596±0.0980.547±0.0960.328±0.06512.14<0.001互信息 3.018±0.723 2.547±0.562 2.474±0.489 2.653±0.412 3.183±0.504 2.87<0.001空间频率14.823±3.13729.116±5.38728.982±6.01228.718±5.25632.706±4.89417.07<0.001空间频率错误率0.612±0.1280.237±0.0520.243±0.0430.259±0.0320.115±0.01371.29<0.001相关系数0.886±0.2420.898±0.2170.899±0.2230.901±0.2560.932±0.2450.0470.9957边缘强度
0.213±0.036
0.466±0.076
0.443±0.069
0.528±0.098
0.563±0.089
29.15
<0.001
注：表中DWT 为离散小波变换；DCT 为离散轮廓波变换；NSCT 为非下采样轮廓波变换be
行操作，能提供更丰富可靠的信息，简单高效，但对源图像配准要求较高，是目前最常用的融合算法[9]。特征级融合是根据图像对比度、边缘强度等有用特征信息进行融合，但需要对适用的图像特征进行选择和确定[10]。决策级融合属于较高层次融合，先提取图像特征，再根据对同一目标特征判断准则进行融合，算法复杂且计算量较大。像素级融合分为空间域或频率域融合，前者包括素灰度平均法、主成分分析法、独立成分分析法等算法，存在融合图像对比度差、信息冗余等缺点，后者包括高斯金字塔、拉普拉斯金字塔、形态学金字塔等方法，融合性能有所提升，但融合过程容易产生奇异点，且对细节信息捕捉能力不足[11-12]。近年来，较多研究[8]尝试使用轮廓波变换克服以上算法局限性，融合图像对比度较高，但下采样造成图像移变性，融合图像中出现块状效应[13]。本研究提出一种基于NSCT的
图像融合改进算法，其中NSCT变换充分发挥线性移不变、多分辨率和多方向特性，高低频融合规则能更多保留图像低频主体信息和更能突出图像高频细节信息。
人工合成图像融合结果显示，NSCT改进算法的信息熵最高，较其他算法提升了8.99%～14.31%，像素法最低，其余3种算法相差无几，表明改进算法所得融合图像信息量更丰富。改进算法的交叉熵最小，较其他算法降幅超300%，且像素法所得交叉熵低于其余3种算法，表明改进算法所得融合图像与源图像之间差异最小。改进算法的互信息高于其他算法，提高了11.94%～107.83%；其次是像素法，DCT法最低，表明源图像信息更多的传递到改进算法的融合图像中。改进算法的空间频率最大，较其他算法提高了80.59%～30.83%，且空间频率错误率最小，像素法最高，表明源图像细节信息更多的传递到本研究算法
中国医学装备2021年3月第18卷第3期 基于非下采样轮廓波变换的CT 和MR 图像融合改进算法研究-卫志娇 等
学术论著
的融合图像中。改进算法的相关系数高达0.909，较其他算法提高了11.26%～15.65%，表明本研究算法的源图像与融合图像的相似性最高。改进算法的边缘强度高于其他算法，提升了39.37%～86.15%，表明本研究算法传递到融合图像的边缘信息最多，像素法传递的最少。基于本研究算法融合性能最优，像素法融合性能最差。
临床实例图像融合结果显示，基于像素法所得平均信息熵、空间频率、相关系数和边缘强度均最低，同时平均交叉熵和空间频率错误率最高，仅互信息高于DWT、DCT和NSCT融合算法，表明像素法能传递较多信息到融合图像中，但融合性能仍最差。基于DWT、DCT及NSCT融合算法所得的评价指标差异较小，表明3种融合算法较像素法有所提升，且融合性能大致相等。基于改进算法所得平均信息熵、互信息、空间频率、相关系数和边缘强度均最高，较其余4种算法分别提高了9.54%～58.19%、5.46%～28.66%、12.33%～120.64%、3.44%～5.19%和6.63%～164.32%，同时平均交叉熵和空间频率错误率最低，较其余4种算法降低了31.38%～44.97%和51.48%～81.21%，表明本研究算法融合图像信息最丰富，传递到融合图像的细节信息和边缘信息最多，源图像与融合图像的相似度最高，且融合图像的空间错误率最低。
由此可知，NSCT改进算法融合精度最高，像素法融合精度最差，其余3种融合算法性能大致相等，基于改进算法能够精确融合多种临床状态下CT与MR 图像。采用改进算法，基于人工合成图像所得的信息熵、互信息及边缘强度均高于临床实例图像，且交叉熵和空间频率错误率低于临床实例图像，仅空
间频率和相关系数低于临床实例图像，表明临床实例图像融合难度高于人工合成图像。4 结论
本研究提出的NSCT改进算法，其图像融合性能优越，具有较强的普适性和稳健性，是一种可行、有效的图像融合算法，具有一定的临床应用价值。
[1][2]参考文献
收稿日期：2020-05-26
杨熙，徐子海.图像融合技术在放疗靶区勾画中的应
用进展[J].中国医疗设备,2015,30(10):79-82.Liangliang Li,Yujuan Si,Zhenhong Jia.A novel
brain image enhancement method bad on
nonsubsampled contourlet transform[J].Int J Imag Syst Tech,2018,28(2):124-131.
焦姣，吴玲达.形态学滤波和改进PCNN的NSST域多光谱与全色图像融合[J].中国图象图形学报,2018,24(3):435-446.
曹义亲，曹婷，黄晓生.基于àtrous-NSCT变换和区域特性的图像融合方法[J].计算机科学,2019,46(6):2
70-276.
王健，张修飞，任萍，等.基于增补小波变换和PCNN 的NSCT域图像融合算法[J].计算机工程与科学,2018,40(10):1822-1828.
陈青，卜莹，李伟.基于BSVD分解和Radon变换的NSCT域鲁棒水印算法[J].包装工程,2019,40(13):233-238.
刘哲，徐涛，宋余庆，等.基于NSCT变换和相似信息鲁棒主成分分析模型的图像融合技术[J].吉林大学学报(工学版),2018,48(5):1614-1620.
杨艳春，李娇，王阳萍.图像融合质量评价方法研究综述[J].计算机科学与探索,2018,12(7):1021-1035.Chaoben Du,Shesheng Gao.Remote Sensing Image Fusion Bad on Nonlinear IHS and Fast Nonsubsampled Contourlet Transform[J].J Indian Soc Remote,2018,46(12):2023-2032.Xiaodong Huang.Automatic video superimpod
text detection bad on Nonsubsampled Contourlet Transform[J].Multlmed Tools Appl,2018,77(6):7033- 7049.
W e n d a Z h a o ,H u i m i n L u ,D o n g W a n g.
Multinsor Image Fusion and Enhancement in Spectral.Total Variation Domain[J].IEEE T Multimedia,2018,20(4):866-879.
冯颖，贺兴时，杨新社.基于NSCT和混合粒子群算
法的红外与可见光图像融合[J].电光与控制,2018,25(1):23-27.
陈轶鸣，夏景明，陈轶才，等.结合稀疏表示与神经网
络的医学图像融合[J].河南科技大学学报(自然科学版),2018,39(2):40-47.acca培训
[3]
[4][5][6][7][8][9][10][11][12][13]中国医学装备2021年3月第18卷第3期 基于非下采样轮廓波变换的CT 和MR 图像融合改进算法研究-卫志娇 等
