RESEARCH WORK
引言
腹部动脉为多个器官供血,精确定位动脉血管有助于制定外科手术计划和术中导航[1-3]。腹部动脉血管位置、长度和分支特征个体差异较大,常借助CT成像获得腹部器官和血管的三维立体信息,但如何从腹部组织中精确分离动脉血管是一个难题,图像分割是一种能对血管定位并提取的方法。
传统的腹主动脉血管分割常采用水平集方法、区域增长法、高斯混合模型等算法 [4-5]。刘海华等[6]采用高斯混合模型进行腹主动脉CT图像分割,分割性能优于k均值聚类等算法,但存在不能分割分支血管、分割精度不足等缺点。近些年,深度学习方法开始应用于医学图像分割[7-8],主要通过训练集从CT图像空间灰度分布中产生一个预测值,然后采用损失函数获得测试标签值与真实分割图像标签值的最小差异,完成图像分割。基于深度学习的分割算法已在肝脏、肾脏等大器官分割方面显示出显著优势,但在微小组织如血管分割上精度不足,主要难度在于血管和周围组织体积显著不平衡,如腹部动脉血管仅占腹部体积的0.2%。许友彬等[9]提出一种基于卷积神经网络和图论的肺部血管CT图像分割算法,能分割出绝大多数肺部大血管,但不能分割小血管。张睿等[10]提出一种基于全卷积神经网络(Fully Convolutional Network,FCN)和块分割的
基于U型全卷积神经网络的腹部动脉CT
图像分割算法研究
赵秀兰1,刘印文2
1. 茌平县乐平镇郝集中心卫生院 CT室,山东聊城 252126;
2. 聊城市东昌府区中医院 CT室,山东聊城 252003
[摘 要] 目的为了精确分割腹部动脉血管,提出一种基于深度学习的全自动腹部动脉CT图像分割算法。方法 采用区域不平衡块生成方法提取CT血管横断面、冠状面和矢状面图像特征,接着采用U型全卷积神经网络对块特征进行训练与分割,最后采用最大体素保留法获得三维血管分割图像。选用120例患者腹部CT血管图像进行网络训练和分割实验,分割结果评价指标采用精确率、召回率和Dice系数。结果 基于U型全卷积神经网络能分割全部腹部CT图像大血管和绝大多数小血管。全卷积神经网络中块尺寸s=32所得平均Dice系数、精确率和召回率分别达87.2%、85.9%和88.5%,且与块尺寸s=48和s=64大致相等。基于U型全卷积神经网络所得平均Dice系数、精确率和召回率均优于其他血管分割算法。结论 基于U型全卷积神经网络算法的图像分割精度高,是一种可行的腹部CT血管分割算法。
[关键词] 图像分割;全卷积神经网络;U型网络;计算机断层显像;动脉
Rearch on CT Image Segmentation Algorithm of Abdominal Artery Bad on U-Shaped
Fully Convolutional Neural Network
ZHAO Xiulan1, LIU Yinwen2窄带
1. CT Room, Haoji Center Health Center, Leping Town, Chiping County, Liaocheng Shandong 252126, China;
2. CT Room, Hospital of Traditional Chine Medicine of Dongchangfu District, Liaocheng Shandong 252003, China Abstract: Objective To propo an automatic CT image gmentation algorithm of abdominal artery bad on deep learning, in order to gment abdominal artery accurately. Methods The CT image features of cross ction, coronal plane and sagittal plane of vesls were extracted by using the method of area imbalance patch generation. Then, the U-shaped fully convolutional neural network (U-Net) was adopted to train and gment the patch features. Finally, the three-dimension gmentation image was achieved by using the maximum voxel prervation method. 120 cas of abdominal CT vascular images were lected for network training and gmentation experiments. The gmentation accuracy was measured by precision rate, recall rate, and Dice coefficient. Results All large vesls and most small vesls in abdominal CT images could be gmented bad on U-Net method. The average Dice coefficient, precision rate, and recall rate of
U-Net with patch size s=32 were 87.2%, 85.9% and 88.5% respectively, which were approximately equal to patch size s=48 and s=64. Moreover, the average Dice coefficient, precision rate, and recall rate of the propod method bad on U-Net were better than other vesl gmentation algorithms. Conclusion The gmentation accuracy of image bad on U-Net method is high, which is a feasible abdominal CT vascular gmentation algorithm.
Key words: image gmentation; fully convolutional neural network; u-shaped network; computed tomography; artery
[中图分类号] R318;R814.4 [文献标识码] A
doi:10.3969/j.issn.1674-1633.2021.02.021 [文章编号] 1674-1633(2021)02-0085-04
收稿日期:2020-08-19
作者邮箱:
RESEARCH WORK
肝脏血管CT图像分割方法,其中块由多层图像裁剪而成,但是交叉熵作为损失函数不能有效分割小血
管。目前基于FCN算法的血管分割多是基于单一断面进行分割、重建,获得血管三维结构,而单一断面不能提取足够数量的血管特征,血管分割精度难以保证,且FCN算法分割精细度不高,空间一致性不够精确。
本研究提出一种基于U型全卷积神经网络(U-Net)的分割算法,并应用于腹部动脉CT图像分割,其中动脉血管特征由横断面、冠状面和矢状面图像联合生成,并采用区域不平衡块生成法获得相同数量的动脉血管和非血管区域。
1 材料与方法
1.1 材料
选取120例在本院放射科行腹部血管增强CT检查的患者图像作为研究对象,横断面CT图像尺寸为512×512,冠状面和矢状面CT图像尺寸根据患者体型而定,CT图像层数为753-1051,层厚1 mm。全卷积神经网络训练阶段选用90例患者CT图像,CT三维图像产生300000个小块用于训练,剩余30例患者CT图像用于分割测试。
1.2 训练部分
块是由横断面、冠状面和矢状面裁剪所得的2D图像[11],若按照同等间隔裁剪图像,则包含血管区域
的块数量远少于非血管区域,难以提取足够多的血管特征用来分割图像。为了克服此局限性,本研究采用区域不平衡生成法产生同等数目的血管和非血管块[12],其中血管块的中心像素为血管像素,非血管块的中心像素是非血管像素,采用密集取样获取血管块,稀疏采样获取非血管块,均进入U-Net网络训练。将从CT测试血管图像产生的块称为CT块,块中灰度值归一化为[0,1]。将从真实血管图像产生的块称为标签块,块中血管的灰度值为1,非血管区域灰度值为0。
难忘的春节作文首先采用3×3×3中值滤波器平滑处理CT血管图像,然后采用区域不平衡块产生方法生成横断面、冠状面和矢状面像素大小为s×s的CT块,标签块取自两位临床经验丰富的放射科医生标注的平均结果作为训练集的,由横断面产生的块集合表示为Pa={Ia,La},Ia是CT块的集合,La是标签块的集合,冠状面和矢状面产生的块集合为Pc和Ps。
接着采用U-Net训练横断面、冠状面和矢状面产生的块集合,U-Net最优化处理选用自适应矩估计,优化过程中损失函数采用二进制交叉熵,最小块规模设置为100,U-Net训练次数为25,此时分割图像体素与真实图像体素匹配率最高。U-Net是FCN算法的延伸与改进,在CT、MR、显微镜等不同模态图像分割方面均表现优越[13-14]。U-Net结构见图1所示,U-Net包含一个左侧的收缩路径和右侧对称的扩张路径,前者用于捕捉上下文特征信息,后者用于目标精确定位,二者通过裁剪和复制将高低层特征图拼接起来,实现浅层位置纹理特征与深层语义信息的结合[15]。具体地,收缩路径每一层先采用2个卷积核大小为3×3的卷积,而后通过线性整流函数(ReLU)和批归一化操作进行激活,接着采用1
个2×2大小的最大池化层进行下采样操作,实现特征通道数量翻倍。扩张路径使用大小为2×2的转置卷积层进行上采样,实现特征通道数减半。使用跳跃连接操作拼接收缩路径特征图与当前特征图,而后采用2个卷积层和激活函数提取图像特征,最后采用大小1×1的卷积核将特征图通道数缩减到与分割类别一致。
1.3 分割部分
分割处理分别在横断面、冠状面和矢状面生成的块上进行,以横断面分割为例,首先采用中值滤波器平滑CT 图像,然后沿着坐标(x,y)以步长(s/2,s/2)裁剪CT 图像获得CT块,大小为s×s,x,y是沿着横断面相互垂直的坐标系,CT块像素灰度值同样被归一化为[0,1],裁剪过程见图2所示。
然后采用U-Net进行图像分割,CT块输入U-Net,产生测试标签块。三维CT血管图像由测试标签块重建获得,测试标签块像素值被拷贝到对应CT重建图像上,且在重建过程中被重叠4次(见图2),计算重叠块像素的平均值作为重建后图像的体素值,以此基于横断面块的三维血管分割结果。同理可得基于冠状面和矢状面块的三维血管分割结果。
选取三断面所得三维血管图像中同一位置体素最大值作为后处理图像体素,然后采用阈值法分割血管,采用膨胀和腐蚀等形态学操作连通相邻区域,并清除体积小于υ m3的孤立区域,获得最终血管分割图像,分割阈值设置为t,形态学操作微球直径为r mm。图像后处理参数设置为t=0.75,r=2 mm,υ
=200 mm3。
图1 U-Net 网络结构
图2
基于二维测试标签块的图像裁剪过程
Re 100%
TP FN
=×+ 2Pr Re Pr Re ecision call
Dice ecision call ××=
+
(3)
2 结果与讨论
2.1 基于不同块尺寸的U-Net算法分割结果
基于不同块尺寸的FCN 算法血管分割结果和评价指标见图3和表1。块特征图像尺寸大小直接影响U-Net 算法性能,块尺寸越小,U-Net 训练时间越短,内存消耗越小。由图3看出,基于不同块尺寸的U-Net 算法均能完整分割腹主动脉等较粗壮血管,且三种块尺寸分割血管视觉差异较小,但均不能有效分割部分细血管。由表1可知,基于不同块尺寸的U-Net 算法血管分割所得平均Dice 系数随着块尺寸增大而减小。块尺寸最小时(s =32),平均Dice 系数取得最大值(87.2 %),较块尺寸s =48(86.8 %)和s =64(86.5 %)的精确率分别高0.4 %和0.7 %。血管分割平均精确率随着块尺寸增加先上升后下降,且变化幅度微小,块尺寸s =48时,血管分割所得平均精确率最高(86.2 %),较块尺寸s =32的精确率(85.9 %)高0.3 %,较块尺寸s =64的精确率高2.3 %。血管分割平均召回率随着块尺寸增加先下降后上升,变化范围微小,块尺寸s =64时,本
所得平均召回率最高(89.1 %),仅较块尺寸s =32(88.5 %
)高0.6 %,块尺寸s =48(87.7 %)时最小。此外,三种尺寸基于不同块尺寸的U-Net 算法所得评价指标最大值与最小值相差较大,主要是由患者腹主动脉形态位置差异所致。综上可知,基于不同块尺寸的U-Net 算法血管分割准确性大致相等,且分割精度较高,因此本研究U-Net 算法选取块尺寸s =32进行血管分割。
和表2。目前对血管分割多基于横断面图像进行,导致特征提取不充分,三断面同步提取可获得更丰
富的血管特征,对血管三维重建至关重要。本研究U-Net 算法中块特征由横断面、冠状面和矢状面联合产生,块尺寸采用s =32。由图4可知,基于三断面和横断面的U-Net 算法均能有效分割腹主动脉等较为粗壮血管,三断面分割出的小血管数量明显多于横断面。由表2可知,基于三断面的U-Net 算法的平均Dice 系数(87.2%)高于横断面所得(83.2%),主要得益于三断面可提供更多特定的组织特征,能辨别分支血管和周围组织,而横断面只能提供单一平面组织特征,只能辨别相对粗壮血管。基于三断面的U-Net 算法的平均精确率(85.9%)略低于横断面(87.5%)所得,表明基于横断面的U-Net 算法血管分割不完整,但包含更少的假阳性体素(FP )。基于三断面的U-Net 算法的平均召回率(88.5%)高于横断面所得(75.5%),且提升了17.22%,表明三断面分割显著降低假阴性体素(FN ),提高小血管分割精度。综合所得,基于三断面的U-Net 算法优于单一横面,但需要训练更多的块特征降低假阳性。
2.3 不同血管分割算法比较
将本研究U-Net 算法与浅层U-Net 算法、基于残差单
元的U-Net 算法、水平集方法、区域增长法和高斯混合模型进行比较,结果见表3。浅层U-Net 包含3个池化层和3个上采样操作[19],较U-Net 少1个卷积层和池化层,其
图3 基于不同块尺寸的U-Net 算法所得血管分割结果
理睬近义词注:a. 真实分割结果;b~d. 分别对应块尺寸为s =32、s =48、s =64的分割结果;图中箭头表示分割结果与真实血管之间的不同点。
图4 基于不同断面的U-Net 算法所得血管分割结果
注:a. 真实分割结果;b. 和 d. 基于三个断面联合的U-Net 分割结果;c. 和 e. 基于横断面的U-Net 分割结果;图中虚线框表示与真实分割结果不同之处。
RESEARCH WORK
余与U-Net无异。基于残差单元的U-Net是一种更深层的U-Net[20],在一定范围内,随着卷积层数增加,
网络特征学习能力更强,但不断加深网络容易引起自损函数梯度下降,导致性能退化。由表3可知,当块尺寸s=32,块特征由三断面生成时,三种U-Net算法所得平均Dice系数、精确率和召回率差别微小,基于批量归一化的浅层U-Net算法所得评价指标均最低,基于残差单元的N-Net算法的割性能略有提升,但均低于基于本研究批量归一化的U-Net算法。三种U-Net分割算法所得平均Dice系数、精确率和召回率显著高于水平集方法、区域增长法和高斯混合模型,主要由于水平集算法无法辨别对边界模糊区域,区域增长法分割精度受限于初始种子点的选取,而高斯混合模型对图像噪声和灰度不均较为敏感,导致三种算法分割性能较弱,表明基于本研究批量归一化的浅层U-Net算法较其他算法具有优越性。
表2 基于不同平面的U-Net算法血管分割
结果评价指标比较(块尺寸s=32)
平面Dice系数(%)精确度(%)召回率(%)
平均值最小
值
最大
值
来龙去脉造句平均
值
最小
值
最大
值
平均
值
最小
值
最大
值
横断
面
83.278.886.387.583.190.675.567.779.7三断栗子鸡
面
87.283.489.485.981.089.188.585.690.5
表3基于不同U-Net算法的血管分割结果
评价指标比较(%,块尺寸s=32)
经典老人言分割算法
Dice系数精确率召回率
平均
值
最小
值
最大
值
平均
值
最小
值
最大
值
平均
值
最小
值
最大
值
U-Net 87.283.489.485.981.089.188.585.690.5 S U-Net 87.083.289.185.881.288.788.285.190.3 Res U-Net 87.183.089.385.980.588.888.485.490.8水平集方法76.273.378.774.670.379.677.173.781.4区域增长法78.476.982.375.872.478.878.274.382.6高斯混合
模型
80.577.382.978.573.581.680.475.385.6
注:U-Net表示U-Net算法;S U-Net表示浅层U-Net算法;Res U-Net表示基于残差单元的U-Net算法。
3 结论
本研究提出一种基于U型全卷积神经网络的腹部血管CT图像分割算法。实验结果表明,当块尺寸s=32,块特征由三断面联合生成时,本研究提出的U-Net算法能精确分割腹主动脉血管和大部分分支血管,分割性能优越,优于其他两种U-Net算法和传统的血管分割算法,有助于临床辅助诊断和外科手术引导。本研究的缺点是未能充分提取血管结构特征,今后将引入全局血管结构特征和血管3D 块特征,更加精确提取分支微细血管,且将本研究算法应用于门静脉等血管分割。
[参考文献]
[1] 田士峰,刘爱连,潘聚东,等.应用像素闪耀算法提升重建腹部动
脉期CT图像质量[J].中国医学影像学杂志,2018,26(3):205-208.[2] 蒋玉蓉,唐雅兵,游一平,等.低位腹主动脉血管外阻断术与低
位腹主动脉球囊阻术在凶险性前置胎盘合并胎盘植入治疗中的比较[J].实用医学杂志,2018,34(4):613-617.
猪尾花生汤[3] 吕滨.以临床需求为导向,推进冠状动脉CT成像新技术的临
床应用[J].中国医学影像技术,2020,36(2):161-164.
[4] 王文涛,罗晓曙,阎晨阳.基于灰度迭代阈值PCNN的眼底图像
血管分割[J].计算机工程与应用,2018,54(20):197-201. [5] 徐光柱,亚文,胡松,等.PCNN与形态匹配增强相结合的视网膜
血管分割[J].光电工程,2019,46(4):74-85.
[6] 刘海华,郭杰龙.基于高斯混合模型的腹主动脉图像分割[J].
甜英文中南民族大学学报:自然科学版,2015,(34):91-94.
[7] 徐胜舟,程时宇.基于全卷积神经网络迁移学习的乳腺肿块图
像分割[J].中南民族大学学报(自然科学版),2019,38(2):278-284.
[8] 宫进昌,赵尚义,王远军.基于深度学习的医学图像分割研究
进展[J].中国医学物理学杂志,2019,36(4):54-58.
[9] 许友彬,李彬,刘霜纯,等.基于肺部组织分割的肺功能定量分析
系统的开发与设计[J].生物医学工程研究,2018,(3):253-259. [10] 张睿,吴薇薇,周著黄,等.基于改进模糊连接度的CT图像肝脏
血管三维分割方法[J].中国生物医学工程学报,2019,38(1):21-30.
[11] 高宏杰,邱天爽,丑远婷,等.基于改进U型网络的眼底图像血
管分割[J].中国生物医学工程学报,2019,38(1):4-11.
[12] Nardelli P,Jimenez-Carretero D,Bermejo-Pelaez D,et al.
Pulmonary artery-vein classification in CT images using deep learning[J].IEEE Trans Med Imaging,2018,37(11):2428-2440.
[13] 常川.基于ResNet深度网络的人类蛋白质图谱图像分类方法
研究[J].医学信息学杂志,2019,40(7):45-49.
[14] 杨倩梅,张学军,宁小霞.基于三维卷积神经网络的肝脏静脉血
管的分割[J].广西大学学报(自然科学版),2019,44(5):1252-1260.
[15] 孙锦峰,丁辉,王广志.基于W-Net的肝静脉和肝门静脉全自
动分割[J].中国生物医学工程学报,2019,38(5):513-521. [16] 朱恩泽,何瀚志,仲弘扬,等.基于深度学习的医学图像分割方
法[J].徐州医学院学报,2019,39(2):143-147.
[17] 卞琳杰,巫丹萍,陈义钢,等.多排螺旋CT检查血管成像和图
像融合技术对腹腔镜直肠癌根治术的术前评估价值[J].中华消化外科杂志,2019,18(9):884-889.
[18] 袁戎,石姝玥,谢庆国.多相期增强CT中肝内血管的自动分割[J].
中国图象图形学报,2016,21(9):1238-1246.
[19] 庞国栋,Weston AD,Korfiatis P,等.基于深度学习法的CT扫
描自动腹部分割对人体组成的分析[J].国际医学放射学杂志,2019,42(3):103-104.
[20] 张佳佳,樊鑫,秦珊珊,等.基于深度学习的人工智能在肿瘤诊
断中的应用进展[J].国际放射医学核医学杂志,2020,44(1):11-15.
责任编辑