DOI: 10.3785/j.issn.1008-973X.2021.01.024
SE-Mask-RCNN ：多参数MRI 前列腺癌分割方法
黄毅鹏1,2，胡冀苏1,2，钱旭升1,2，周志勇2，赵文露3，马麒3，沈钧康3，戴亚康2
(1. 中国科学技术大学 生物医学工程学院（苏州），江苏 苏州 215163；2. 中国科学院 苏州生物医学工程技术研究所，
江苏 苏州 215163；3. 苏州大学附属第二医院，江苏 苏州 215000)
摘 要：为了从多参数磁共振(mp-MRI)的前列腺区域中自动提取前列腺癌病灶区域，提出新的深度卷积神经网络模型SE-Mask-RCNN. 在特征图上搜索定位包含病灶的候选区域，基于候选区域实现病灶的精细分割.为了利用mp-MRI 中的互补信息，通过2个并行卷积网络分别提取表观扩散系数(ADC)和T2加权(T2W)图像的特征图后进行融合，使用挤压与激励块自动提升融合特征图中的有效特征并抑制无效特征.在收集得到的140例数据上进行实验.结果表明，使用SE-Mask-RCNN 得到前列腺癌病灶分割Dice 系数为0.654，敏感度为0.695，特异度为0.970，阳性预测值为0.685.与U-net 、V-net 、Resnet50-U-net 和Mask-RCNN 等模型相比，SE-Mask-RCNN 能够有效提升mp-MRI 中前列腺癌病灶区域的分割精度.
关键词： 前列腺癌；深度学习；挤压与激励块(SE-block)；Mask-RCNN ；多参数磁共振成像(mp-MRI)
中图分类号： R 318 文献标志码： A 文章编号： 1008−973X （2021）01−0203−10
SE-Mask-RCNN: gmentation method for prostate cancer on
multi-parametric MRI
HUANG Yi-peng 1,2, HU Ji-su 1,2, QIAN Xu-sheng 1,2, ZHOU Zhi-yong 2, ZHAO Wen-lu 3,
MA Qi 3, SHEN Jun-kang 3, DAI Ya-kang 2
(1. School of Biomedical Engineering (Suzhou ), University of Science and Technology of China , Suzhou 215163, China ;2. Suzhou Institute of Biomedical Engineering and Technology , Chine Academy of Sciences , Suzhou 215163, China ;
3. The Second Affiliated Hospital of Suzhou University , Suzhou 215000, China )
Abstract: A new deep convolutional neural network model called SE-Mask-RCNN was propod to automatically
gment prostate cancer regions in multi-parametric magnetic resonance imaging (mp-MRI) images. The candidate regions were extracted from the feature maps, and the possible lesions were gmented within the candidate regions.The feature maps were obtained from apparent diffusion coefficient (ADC) maps and T2-weighted (T2W) images through two parallel convolution networks, which were fud to fully u complementary information. The squeeze-and-excitation block was employed to automatically boost effective features and suppress the uless features. The experiments were conducted on a datat containing 140 patients. The experimental results showed that the propod model achieved a Dice coefficient of 0.654, a nsitivity of 0.695, a specificity of 0.970, and a positive predictive value of 0.685. The propod SE-Mask-RCNN can effectively improve the gmentation accuracy of prostate cancer lesions in mp-MRI images compared with U-net, V-net, Resnet50-U-net and Mask-RCNN.
Key words: prostate cancer; deep learning; squeeze-and-excitation block (SE-block); Mask-RCNN; multi-parametric magnetic resonance imaging (mp-MRI)
收稿日期：2020−01−02. 网址：/eng/article/2021/1008-973X/202101024.shtml
基金项目：国家重点研发计划资助项目（2018YFA0703101）；江苏省重点研发计划资助项目（BE2017663）；苏州市科技计划资助项目
（SS2019012，SS201855，SZS201818，SYS2018010，SS201854）；丽水市重点研发计划资助项目（2019ZDYF17）.
作者简介：黄毅鹏（1996—），男，硕士生，从事医学影像分析的研究. orcid/0000-0003-1661-1853. E-mail ：*****************.edu
通信联系人：戴亚康，男，研究员. orcid/0000-0003-3357-1638. E-mail ：**************own goal
第 55 卷第 1 期 2021 年 1 月
浙 江 大 学 学 报(工学版)
Journal of Zhejiang University (Engineering Science)漂亮男孩英文版
Vol.55 No.1Jan. 2021
在中老年男性中，前列腺癌（prostate cancer，PCa）是最常见的癌症类型之一. 根据最新的流行病学
资料[1-6]显示，近年来我国PCa发病率上升趋势明显. 多参数磁共振成像（multi-parametric mag-netic resonance imaging，mp-MRI）作为PCa早期诊断的常规手段之一[6-8]，mp-MRI上前列腺癌病灶区域的准确分割对评估病灶恶性程度及引导活检穿刺具有重要意义. 人工勾画前列腺癌病灶区域的准确性依赖于专家经验，且非常耗时[9]. 通过计算机实现前列腺癌病灶区域的自动精确分割具有重要的意义，但目前面临以下3个方面的挑战：1）不同患者的前列腺癌病灶形状和大小具有较大的差异性；2）前列腺癌病灶的边界模糊；3）前列腺癌病灶的多发性，即一个患者的前列腺上可能存在多个前列腺癌病灶.
近年来，基于深度学习的图像分割算法已经被广泛应用到医学图像上的病灶自动分割任务中，取得了不错的效果[10-12]. 根据分割特点，可以分为基于像素分类的图像分割算法和基于区域分类的图像分割算法[13]. 针对前列腺癌病灶区域的自动分割，Kohl等[9]提出结合对抗神经网络与U-net[14]的深度学习网络，对mp-MRI上前列腺癌病灶区域作语义分割，获得的Dice系数为0.41±0.28，敏感度为0.55±0.36. 虽然该方法能够有效地检测前列腺癌病灶的大致区域，但是分割精度有待提高.
与基于像素分类的图像分割方法不同，Mask-RCNN采用基于区域分类的图像分割方法[15]. 当Mask-RCNN应用于前列腺癌病灶区域分割时，可以定位存在病灶的候选区域，缩小需要精细分割的范围；针对前列腺癌病灶区域进行优化，提升分割精度.
虽然Mask-RCNN能够提取前列腺癌病灶区域的有效特征，但如何有效融合mp-MRI中的信息需要进一步研究. Thay等[16]为了充分利用现有网络模型，将mp-MRI分别放入RGB图像的3个通道，在输入图像层面对mp-MRI信息进行融合. Yang等[17]使用2个并行的卷积网络，分别提取表观扩散系数（apparent diffusion coefficient，ADC）和T2加权（T2-weighted，T2W）图像特征，使用ADC特征图与T2W特征图之间的差距作为约束条件，在网络训练过程中指导卷积网络提取不同序列MRI上的有效特征.Yuan等[18]使用多个并行卷积网络分别提取不同序列MRI特征，通过特征串联的方式对mp-MRI信息进行融合. 虽然这些方法可以同时利用mp-MRI训练网络模型，但是难以充分融合mp-MRI中的高级特征，故模型精度有待提高.
本文提出基于区域分类的图像分割方法SE-Mask-RCNN，实现mp-MRI前列腺区域上前列腺癌病灶的自动分割. 使用Mask-RCNN网络作为基础框架，定位包含前列腺癌病灶的候选区域，对候选区域内的病灶进行精细分割. 提出使用2个并行的卷积网络分别提取ADC和T2W图像特征，使用挤压与激励块（squeeze-and-excitation block，SE-block）对串联的ADC和T2W图像特征间相关性进行建模；利用不同序列MRI中的互补信息，通过显式学习的方式自动标定不同特征通道的权重，提升有用特征并抑制无效特征，有效融合mp-MRI中的有效信息. 实验结果表明，提出的SE-Mask-RCNN能够有效地提升前列腺癌病灶区域的分割精度.
在线学习韩语1 基于SE-Mask-RCNN的前列腺癌
病灶自动分割网络
1.1 Mask-RCNN深度学习网络
如图1所示，Mask-RCNN深度学习网络结合目标检测与目标的准确分割，主要由3个部分组成：1）特征提取网络；2）区域建议网络（region proposal network，RPN）；3）头网络.
将图像输入到由Resnet50构成的特征提取网络中，得到多个不同层级的特征图. 由RPN生成可能包含检测目标的候选区域. 通过RoI Align层得到候选区域特征图. 候选区域特征图被输入到头网络中，由头网络中的边框回归分支网络对候选区域进行修正；由区域分类分支网络给出候选区域包含检测目标的类别及可能性；由分割网络给出候选区域内检测目标的分割结果. 使用非极大值抑制去除物体存在可能性较小或者交并比较高的候选区域，得到最终的候选区域和分割结果.
图 1 Mask-RCNN网络结构
Fig.1 Network structure of Mask-RCNN
204浙江大学学报（工学版）第 55 卷
与基于像素分类的图像分割网络相比，Mask-RCNN 定位并提取可能包含检测目标的候选区域，对候选区域内的目标物体进行更精细的分割.
1.2 SE-block
Hu等[19]提出的SE-block在特征提取过程中对不同特征通道的相互依赖关系建模，重新标定
感动在身边
不同特征通道的权重. 如图2所示，在SE-block 中，使用全局池化层，将不同特征通道的空间信息压缩为一个通道描述子；使用2个全连接层和1个ReLU层对不同特征通道间的相互依赖性进行建模，通过sigmoid激活函数得到不同特征通道的权重. 通过尺度化操作，将得到的权重与特征通道相乘，重新标定特征通道权重，提升有用的特征通道，抑制无关的特征通道，从而有效提升深度学习网络自动学习有效特征的能力.
1.3 SE-Mask-RCNN深度学习网络
rerved什么意思啊为了利用mp-MRI中的有效信息，提升前列腺癌病灶分割精度，提出基于区域分类的、使用双通道卷积网络提取特征的深度卷积神经网络SE-Mask-RCNN.
如图3所示，SE-Mask-RCNN与Mask-RCNN 的整体框架相同，主要由特征提取网络、RPN网络和头网络3部分构成. 由特征提取网络提取输入图像特征图，由RPN给出特征图上的候选区域.通过RoI Align层获得候选区域特征图并输入到头网络中，由头网络对候选区域存在病灶的概率进行评估，对候选区域的位置和大小进行修正并分割出候选区域内的前列腺癌病灶区域. 使用非极大值抑制法除去小概率存在病灶的候选区域和重叠程度较高候选区域，得到最终的候选区域和病灶分割结果.
与Mask-RCNN网络不同的是，SE-Mask-RCNN 采用提出的SE-block改进的mp-MRI信息融合方式，构造新的特征提取网络，如图4所示. 使用
图 2 SE-block结构图
Fig.2 Structure of SE-block
ADC
T2W ADC 特征图
T2W 特征图
串联
特征图
融合
特征图
图 3 SE-Mask-RCNN模型结构图
Fig.3 Model structure diagram of SE-Mask-RCNN
人教版三年级下册第 1 期黄毅鹏, 等：SE-Mask-RCNN：多参数 MRI 前列腺癌分割方法 [J].
浙江大学学报：工学版, 2021, 55(1): 203–212.205
SE-Resnet 作为图4中的卷积网络，实现了提出的mp-MRI 信息融合方式.
如图3所示，SE-Mask-RCNN 特征提取网络中使用并行的2个SE-Resnet 网络，分别提取不同序列MR
I 图像的3个层级特征图，通过串联的方式构成串联特征图. 使用SE-block 分别对每个串联特征图不同特征通道间的相关性建模，自动标定不同特征通道权重，提升串联特征图中的有用特征并抑制无关特征，得到融合了mp-MRI 有效信息的融合特征图.
SE-Resnet 中处理输入图像的卷积层采用步长为1的7×7卷积核进行卷积，最大池化层采用3×3池化操作. 所有残差块具有相似的结构，都由3个卷积层构成，其中卷积层1和卷积层3卷积操作的卷积核均为1×1，卷积层2卷积操作的卷积核为3×3. 将残差块1、残差块3和残差块5中卷积层2的步长设为2，以实现特征图的降采样，卷积层1和卷积层3的步长均为1. 在其他残差块中，所有卷积层步长均设为1. 综合考虑性能和计算效率，仅在残差块2、残差块4和残差块6后分别添加1个SE-block ，分别筛选3个不同层次特征图上的有效特征. 将高层级特征图上采样后与低层级特征图相加，得到兼顾图像细节信息和整体信息的多尺度均衡特征图.
雍正行乐图
2 实验分析
2.1 数据选取
回顾性分析苏州大学附属第二医院2015年1月至2017年3月期间的140例前列腺癌患者的ADC 和T2W 图像. 在140例患者中，患者的平均年龄为74.4岁，范围为51~93. 在这些患者中，129例患者前列腺区域存在1个前列腺癌病灶，11例患者存在2个前列腺癌病灶，总计151个病灶. 对于每例前列腺癌患者m
p-MRI 数据，由放射科医生选择其中1~3对能清晰可见前列腺癌病灶的ADC 和T2W 图像对. 总共产生了273个ADC-T2W 图像对，作为数据集. 选取2015年1月至2016年10月间的112例患者的219个ADC-T2W 图像对
作为训练集，剩下的2016年11月至2017年3月间的28例患者中，随机选择14名患者的27个ADC-T2W 图像对作为验证集，剩下14名患者的27个ADC-T2W 图像对作为测试集.2.2 数据预处理
如图5所示为数据预处理中配准、前列腺区域提取和灰度标准化流程示例.
为了有效利用ADC 和T2W 图像上的信息，需要对ADC 和T2W 图像进行配准操作. Liu 等[20]提出在前列腺形变较小的情况下，使用存储在DICOM 图像中的坐标信息进行配准的方法，具有简单、有效的优点. 本文使用的患者数据，均通过形变筛选，满足使用交互的坐标信息进行配准的条件. 使用存储在不同序列MRI 中的坐标信息进行配准.
前列腺MRI 图像包含的人体组织结构较多，前列腺区域仅占图像中的一小部分. 直接在前列腺MRI 图像上分割前列腺癌病灶，容易受到其他组织结构信息的干扰，导致分割结果较差. 手动将前列腺区域框选出来，方框大小以恰好能包含整个前列腺区域为准，将背景影响降至最小.
由于在不同病人间，前列腺mp-MRI 的灰度分布范围存在一定的差异，为了降低灰度分布范围的差异性对前列腺癌病灶自动分割结果的影响，对前列腺区域mp-MRI 图像灰度分别进行标准化[16].
在训练集中，使用左右和上下翻转的刚性扩增方法和滑动最小二乘变换的非刚性扩增方法，对数据进行扩增. 对于每一个训练图像，随机选取10个点作为初始点集. 对点集中的每一个点，横坐标随机移动x 个像素，纵坐标移动y 个像素（x 、y 的取值为[−5，5]）产生变换后的点集. 计算出初始点集和变换后点集之间对应的滑动最小二乘变换[21]（moving least squares ），对原始图像使用该变换产生非刚性扩增数据. 通过非刚性数据扩增，将训练集中的数据量扩增至原先的5倍. 在训练过程中，使用在线数据扩增，对每一个batch 的图像进行左右和上下翻转的刚性扩展. 本文未在
验证集和测试集中使用数据扩增.
图 4 SE-block 改进的mp-MRI 信息融合方式
Fig.4 mp-MRI information fusion method improved by SE-block
ADC
生于忧患翻译配准
T2W
配准后 ADC
前列腺
标准化配准后T2W 前列腺区域 T2W 后 T2W
标准化前列腺提取
图 5 数据预处理示例Fig.5 Example of data preprocessing
206
浙 江 大 学 学 报（工学版）
第 55 卷
2.3 模型训练
在训练过程中，使用Adam 优化器（Adam optimizer ）实现梯度下降算法，寻找使误差函数最小的网络参数. 设置初始网络学习率为0.000 1，设置epoch 为100. 在网络训练过程中，epoch 为50时学习率降低为0.000 05.Batch 大小设为2.
所有模型的训练、验证及测试均在同一台Windows 10系统环境的计算机上运行. 计算机配置为：************************和11 GB 显存的NVIDIA GTX 1080Ti 显卡. 主要的软件环境如下：Python 3.6，CUDA 10.1，Keras2.2.4，底层架构为tensorflow1.10.0等.2.4 评价指标
对于每一例前列腺癌患者数据，由2位经验丰富的医生人工在mp-MRI 上勾画出共同认可的前列腺癌病灶区域，将勾画结果作为前列腺癌病灶的标准区域. 对于分割任务，Dice 相似度系数（Dice similarity coefficient ，DSC ）是使用最广泛的评价指标之一
[22-23]
. 计算公式为
式中：P 表示预测得到的病灶区域，G 表示医生勾画的病灶区域.
敏感度能够有效反映分割结果对病灶区域的敏感程度，特异度能够有效评估得到的假阳性比
例，阳性预测值（positive predicted value ，PPV ）能够
得到真实病灶在检测出的阳性病灶中所占比例.敏感度、特异度和阳性预测值的公式表示如下：
将被正确分为病灶区域的像素个数作为真实阳性（true positive ，TP ），被正确分为正常组织的像素个数作为真实阴性（true negative ，TN ），被错误分为病灶的像素个数记为假阳性（fal positive ，FP ），被错误分为正常组织的像素个数记为假阴性（fal negative ，FN ）.
音信
3 结果分析
wortley3.1 基于像素分类的图像分割模型与基于区域分
类的图像分割模型性能对比
对比基于区域分类的图像分割网络Mask-RCNN [15]和3种典型的基于像素分类的图像分割网络模型（U-net [14]、V-net [24]以及ISHIOKA 等[25]提出的T2W 前列腺癌病灶自动分割的Resnet50-U-net ）. 其中，Mask-RCNN 采用Resnet50作为特征提取网络.表1给出不同模型的分割结果，其中ADC+T2W 表示对应的网络模型将ADC 和T2W
表 1 前列腺癌病灶分割不同网络模型结果的定量比较
Tab.1 Quantitative comparison of different network model results of prostate cancer lesion gmentation
网络模型MRI 类型DSC 敏感度特异度PPV U-net ADC 0.5390.6390.9700.324V-net ADC 0.5250.7070.9450.472Resnet50-U-net ADC 0.5250.7200.9560.462Mask-RCNN
ADC 0.5920.5820.9790.680U-net T2W 0.3700.6510.8860.283V-net T2W 0.3430.5800.8960.282Resnet50-U-net T2W 0.3490.6240.9020.276Mask-RCNN
T2W 0.4030.3950.9620.473U-net ADC+T2W 0.5620.7650.9550.480V-net ADC+T2W 0.5530.7630.9490.476Resnet50-U-net ADC+T2W 0.5610.6830.9720.532Mask-RCNN
ADC+T2W
0.612
0.653
0.968
0.650
第 1 期
黄毅鹏, 等：SE-Mask-RCNN ：多参数 MRI 前列腺癌分割方法 [J].
浙江大学学报：工学版, 2021, 55(1): 203–212.
207
