论文引用格式：Liu C , Lin N, Cao Y J and Yang C. 2021. Seg-CapNet : neural network model for thef cardiac MRI gmentation. Journal of Image and Graphics,26(02) ：0452-0463(刘畅，林楠，曹仰杰，杨聪.2021. Seg-CapNet ：心脏MRI 图像分割神经网络模型.中国图象图形学报,26(02):0452- 0463 )[DOI ：10. 11834/jig. 190626]
452E-mail: ***********
egoistic
Website: www.cjig
Tel: ************中国图象图形学报JOURNAL OF IMAGE AND GRAPHICS
©中国图象图形学报版权所有
中图法分类号:TP183 文献标识码：A 文章编号：1006-8961(2021)02-0452-12
Seg-CapNet ：心脏MRI 图像分割神经网络模型
刘畅，林楠，曹仰杰，杨聪
郑州大学软件学院，郑州450000
摘要：目的针对现有神经网络模型需要对左心室心肌内膜和外膜单独建模的问题，本文提出了一种基于胶囊 结构的心脏磁共振图像(magnetic resonance imaging, MRI)分割模型Seg-CapNet ，旨在同时提取心肌内膜和外膜，并 保证两者的空间位置关系。方法首先利用胶囊网络将待分割目标转换成包含目标相对位置、颜色以及大小等信 息的向量，然后使用全连接将这些向量的空间关系进行重组，最后采用反卷积对特征图进行上采样，将分割图还原 为输入图像尺寸。在上采样过程中将每层特征图与卷积层的特征图进行连接，有助于图像细节还原以及模型的反 向传播，加快训练过程。Seg-CapNet 的输出向量不仅有图像的灰度、纹理等底层图像特征，还包含目标的位置、大 小等语义特征，有效提升了目标图像的分割精度。为了进一步提高分割质量，还提出了一种新的损失函数用于约 束分割结果以保持多目标区域间的相对位置关系。结果 在ACDC ( automated cardiac diagnosis challenge )2017 , M1CCAI( medical image computing and computer-assisted intervention )2013 和 MICCAI2009 等 3 个心脏 MRI 分割竞赛 的公开数据集上对Seg-CapNet 模型进行训练和验证，并与神经网络分割模型U-net 和SegNet 进行对比。实验结果 表明，相对于U-Net 和SegNet, Seg-CapNet 同时分割目标重叠区域的平均Dice 系数提升了 3. 5%，平均豪斯多夫距 离(Hausdorff distance , HD)降低了 18%。并且 Seg-CapNet 的参数量仅为 U-Net 的 54% ,SegNet 的 40%，在提升分 割精度的同时，降低了训练时间和复杂度。结论本文提出的Seg-CapNet 模型在保证同时分割重叠区域目标的同 时，降低了参数量，提升了训练速度，并保持了较好的左心室心肌内膜和外膜分割精度。
关键词：神经网络；胶囊网络；图像分割；重叠区域目标；心脏磁共振图像
Seg-CapNet : neural network model for the cardiac MRI gmentation
Liu Chang , Lin Nan , Cao Yangjie , Yang Cong
School of Software , Zhengzhou University , Zhengzhou 450000, China
Abstract : Objective Image gmentation tasks suffer from the problem in which multiple overlapping regions are required to be extracted , such as the division of the endocardium and epicardium of the heart ' s left ventricle. Existing neural net work gmentation models typically gment the target bad on pixel classification due to the overlapping of pixels in the two regions and then convert the gmentation problem into a classification problem. However , the overlapping area of pix els may not be simultaneously classified well. In general , existing neural networks must train model parameters for each tar get to obtain accurate gmentation results , reducing gmentation efficiency. To address the issues , we propo a gmentation model , called Seg-CapNet , which is bad on a capsule network structure. Method Current gmentation models bad on convolutional neural networks control the size of feature maps through operations, such as maximum or average pool , and transmit image feature information from the upper layer to the next layer. Such pooling opera
tions lo the spatial 收稿日期:2019-12-01 ；修回日期:2020-04-30；预印本日期：2020-05-07
基金项目：国家自然科学基金项目(61972092)
Supported by : National Natural Science Foundation of China (61972092)
453第26卷/第2期/2021年2月刘畅，林楠，曹仰杰，杨聪/Seg-CapNet：心脏MRI图像分割神经网络模型
information of components in the process of information transmission.Therefore,the propod Seg-CapNet model us a
capsule network structure to extract vectors that contain spatial,color,size,and other target information.Compared with
current network structures,the output of a capsule network is in vector form,and the information of the target is included in
六级答案
the entity vector through routing iteration.Seg-CapNet utilizes this feature to strip overlapping objects from the image space
and convert them into noninterference feature vectors,parating objects with overlapping regions.Then,the spatial posi
tion relation of multiple target vectors are reconstructed using fully connected layers.Lastly,the reconstructed image is up-fightagainst
sampled and the gmented image is restored to the same size as the input image.During up-sampling,the feature graph of
the up-sampling layer and that of the convolutional layer are skip-connected.This process is conducive to restoring image
details and accelerating the training process while the model is backpropagating.To improve gmentation results,we also
design a new loss function for constraining gmentation results to ensure that they can maintain a relative position relation
ship among multiple target areas to follow cardiac morphology.In the loss function bad on the Dice coefficient,the ratio
constraint of the area beyond the epicardium boundary to the area of the endocardium is added,and thus,the area of the
endocardium is divided as far as possible within the outer membrane.To prevent the ratio from becoming too small to influ
ence parameter updating in the backpropagation process,we control its value within an appropriate range through exponen
tial transformation and keep it synchronized with the loss function bad on the Dice coefficient.This method is implemen
ted using Python3.6and TensorFlow on Nvidia Tesla K80GPU,Intel E5-2650CPU,and10G main memory.The learn
ing rate is0.001.Image sizes from different devices are inconsistent becau data sources are collected from different ima
ging devices.However in cardiac magnetic resonance imaging(MRI),the heart is typically located near the center.There
fore,the128x128pixel region centered on an image is extracted as the size of the input model image,and image size can
be unified,including the image of the whole heart.Result We train and verify the Seg-CapNet model on the automated car444as com
diac diagnosis challenge(ACDC)2017,medical image computing and computer-assisted intervention(MICCAI)2013,
and MICCAI2009datats,and then compare the results with tho of the neural network gmentation models,U-Net and
SegNet.Experimental results show that the average Dice coefficient of our model incread by4.7%and the average Haus-
dorff distance decread by22%compared with tho of U-Net and SegNet.Moreover,the number of Seg-CapNet parame
ters was only54%of that of U-Net and40%of that of SegNet.Our results illustrate that the propod model improves g
mentation accuracy and reduces training time and complexity.In addition,we validate the performance of the propod loss
function on the ACDC2017datat.By comparing the gmentation results of the model before and after random lection
and adding the constraint loss function,the new loss function avoids the internal region located outside the epicardium,vio
lating the anatomical structure of the heart.Simultaneously,we calculate the mean Dice value of the gmentation results
before and after adding the constraint to the loss function.The experimental results show that Dice value of the gmentation
results of the left ventricular endocardium and epicardium with the new loss function increas by an average of0.6%.
Conclusion We propo a Seg-CapNet model that ensures the simultaneous gmentation of multiple overlapping targets,re
duces the number of participants,and accelerates the training process.The results show that our model can maintain good
gmentation accuracy while gmenting two overlapping regions of the heart's left ventricle in MRI.
Key words:neural network；capsule network；image gmentation；overlapping-area target；cardiac MRI
o引言
图像分割是依据图像的灰度、颜色、纹理和形状等特征将图像划分成若干互不交迭的区域，并使这些特征在同一区域呈现相似性，在不同区域呈现明显的差异性。图像分割是计算机视觉和图像处理中的基础任务之一，为高层计算机视觉任务的完成奠定了基础。在医学图像领域，准确分割目标器官或组织为目标器官或病变组织形态学参数等病理特征的定量计算提供了保障，进而为临床诊疗和病理学研究提供了客观依据。
在医学图像成像过程中，受影像采集设备技术、环境等因素的影响，图像中存在目标与背景对比度较低、噪声较多以及边缘模糊等问题，使得医学图像分割仍然是一个开放性的难题。基于形状建模是当前医学图像分割的主要方法，主要包括主动形状模型(active shape model,ASM)(Cootes等,1995；Soli-
aunt的音标454
中国图象图形学报
」OURNAL OF IMAGE AND GRAPHICS Vol.26.No.2.Feb.2021
man等,2017)和主动表现模型(active appearance model,AAM)模型(Cootes等,2001；Duong等, 2019)。ASM模型在特征提取、目标定位等方面具有较好的性能，但在特征选择时仅使用目标物体边界轮廓的纹理信息，使得分割结果容易受初始状态、图像噪声等因素的影响，因此将ASM与其他方法进行融合的分割模式也成为发展方向之一。比如在左心室图像分割方面(刘复昌等,2010；王兴家等，2013)，就是将ASM与其他方法进行融合。在ASM 模型的基础上，Cootes等人(2001)提出了AAM模型，该方法充分利用形状的全局纹理信息，建立反映纹理变化的全局灰度模型。詹曙等人(2008)利用由相关型图像传感器得到的深度信息和与之对应的亮度信息将2维AAM扩展为3维。AAM模型在建立目标形状的全局模型方面具有独特的优势，但在面对组织复杂的图像时，细节描述能力有所欠缺，无法较好地提取目标全局轮廓。针对此问题，基于多Atlas的分割方法(Wachinger等,2015)充分利用解剖先验知识，将图像分割问题转变为图像配准(Viergever等,2016)问题，利用已分割的多幅Atlas 灰度图像和目标图像进行配准，分割结果较为准确。该方法利用专家手工分割的图像，采用图像配准等技术，在待分割图像中搜索目标形状。由于Atlas算法仅使用了少量标记图像，导致这类方法在面对较为复杂的目标特征时难以有效选择目标特征，使分割结果存在一定偏差。
深度神经网络(deep neural networks,DNN)因其良好的自主特征提取能力和特征表达能力(LeCun等,2015)，在医学图像分割领域得到了广泛关注和应用(Hesamian等，2019；江宗康等，2020)o与已有的医学图像分割方法相比，神经网络提供了一种端到端的方式对图像数据进行特征提取。同时，巨量的神经元连接以及非线性的变换，能较好地解决图像分割中的噪声和不均匀问题。神经网络的自动特征提取能力大幅降低了手动提取特征的难度，实现了端到端的自动化分割过程。基于卷积神经网络(convolutional neural networks,CNN)的图像分割是目前应用最广泛的神经网络分割方法之-(Krizhevsky等,2012)，并且在其基础上改进的模型在左心室图像分割方面也取得了不错的表现(朱错等,2019)。在CNN基础上改进的U-Net(Ron-neberger等，2015；Livne等,2019)和SegNet(Badri-narayanan等,2015,2017)等神经网络模型在不同的图像分割领域均有良好的分割表现。上述两种分割模型在CNN的基础上，通过替换最后的全连接层为全卷积层，继而利用反卷积操作(Noh等,2015)，将特征图还原为原始尺寸，实现了对图像像素的分类，最终将分割问题转变为分类问题。通常这一类型的神经网络模型称为全卷积神经网络(fully convolutional networks,FCN)(Long等,2015)o Sabour等人(2017)提出了一种新的神经网络结构模型Cap-suleNet。不同于传统CNN网络结构，该网络将多个神经元组合成胶囊元的形式，并且将模型输出结果由标量形式转变为向量形式表示识别目标。在大多 数的医学图像分割中，目标区域通常只有一个，因而不需要考虑多个目标的分割，只建立一个模型即可将病灶或目标器官与目标区分。然而，在一些特殊情况下，需要分割多个目标区域，并且这些区域间存在重叠问题，如心脏MRI(magnetic resonance ima-ging)影像中左心室心肌内膜和外膜的分割。此
时，现有的DNN模型往往需要单独对每个区域重新建模和训练，增加了训练的时间与难度，同时降低了输出分割结果的效率。
针对上述问题，本文设计并实现了一种基于Capsule网络结构的左心室(left ventricular,LV)心肌内外膜分割模型Seg-CapNel，这是一个能同时提取两个或多个重叠区域的神经网络模型。本文主要贡献包括：1)设计了一个基于Capsule的神经网络模型，同时提取心肌内膜和外膜轮廓;2)设计了一个新的损失函数，确保心肌内膜与外膜间的空间位置关系合理。本文对Seg-CapNet在3个心脏MRI分割公开数据集上进行了验证，并与U-Net和SegNet模型进行了对比。实验结果显示,Seg-CapNet在分割多个目标区域的同时，仍能保持较好的分割精度。英语四
1Seg-CapNet模型
Seg-CapNet模型的拓扑结构如图1所示。整个模型由卷积层、Capsule层、全连接层和上采样层等4部分组成。Seg-CapNet利用胶囊结构将多个分割目标分别转换为包含自身信息的向量形式输岀；而现有基于卷积结构的神经网络分割模型中，神经元是以标量形式输出。因此对于多个重叠区域目标的分割, Seg-CapNet能够将多个目标从图像中剥离，分别以向
455第26卷/第2期/2021年2月刘畅.林楠，曹仰杰，杨聪/Seg-CapNet：心脏MRI图像分割神经网缓輕
量表示。并且对每个目标向量，可以通过并行上采样处理得到对应目标的分割结果「基于这种特性，本文提出的Seg-CapNet分割模型相对基于全卷积结构的神经网络模型可以对多个具有重叠区域的目标并行分割，无需对每个目标进行单独建模，加快了分割效率。并且分割目标以向量形式表示，该向量不仅有图像的灰度、纹理等底层图像特征，还包含了目标的位置、大小等语义特征，有助于提升图像分割质量。Seg-CapNet模型基于向量结构的表示形式，与传统神经网络分割模型相比，提升了分割效率和分割精度
dux
全连接层
胶囊层
卷积层
心肌内膜
上采样层
心肌外膜
Dconvi十convz
图1Seg-CapNet结构图
Fig.1Stnicturr of Seg-CapNet
卷积层由两层构成。为避免由最大池化或平均池化操作带来的位置信息丢失问题,Seg-CapNel通过卷积步长实现图像的下采样，为胶囊层保留了特征之间的空间位置关系。胶囊层由Primary C aps层和DigitCaps层组成。其中，PrimaiyCaps层将卷积后的特征组成向量，然后采用动态路由算法将其与DigitCaps层进行路由选择，产生代表输出目标的向量表示。值得说明的是，本文使用两个目标向量分别表示内膜和外膜，若需要实现更多目标的识别或提取，则根据实际需要调整目标向量的数量即可。在获取目标向量后，通过全连接层将目标向量进行映射，重组目标向量中特征的空间关系，提高上采样层输入数据的质量。全连接层以及上采样层分两部分，每部分实现一个目标的分割。每个上采样层由3个反卷积层组成，为加快模型的收敛速度并提高模型的分割精度，在前两个反卷积层中加入了卷积层提取的特征图，最后一层卷积层输出分割结果的掩膜。为提高模型的分割精度，还设计并实现了'个新的损失函数——覆盖比例损失，保证两个目标区域间的位置满足心脏解剖结构。
1.1卷积层
现有卷积层主要采用池化操作进行特征降维，压缩数据以及参数数量，减小训练过程中的过拟合问题。但这种操作产生的问题是丢失了原有图像的空间位置信息。Seg-CapNet在卷积过程中没有使用池
化方式，而是通过更少的卷积层以及卷积步长来控制特征图尺寸，尽可能保留特征图的空间位置信息，使得下一层(Capsule层)可以接收到更多信息、如图1所示，模型首先用两个卷积层提取输入图像局部特征，输入图像尺寸经过数据处理后为128x 128x1。第1个卷积层采用64个9x9大小的卷积核进行特征提取，第2个卷积层采用128个9x9大小的卷积核进行特征提取，两次卷积的滑动步长均为2，并通过ReLU函数激活该层输出结果，具体为
r(%)=max(x,0)(1)式中必是标量，代表一个神经元的输出。与其他激活函数相比,ReLU函数在随机梯度下降过程中，收敛速度更快，且不容易出现梯度消失的现象。
深度神经网络中只要网络前几层发生微小改变，后面几层的传播就会累积放大。一旦网络某一层输入数据分布发生改变，这一层网络就需要去适应学习新的数据分布。因此，如果训练过程中训练数据的分布一直在变化，那么网络训练速度将受到影响。为了避免这种情况，本文在模型卷积层采用了批量标准化(batch normalization,BN)(Ioffe和Szegedy,2015)，用于加快模型的训练速度以对抗训
456
中国图象图形孚报
JOURNAL OF IMAGE AND GFJAPHICS Vol.26.No.2,Feb.2021
练过程中的过拟合问题，同时提高了模型的泛化能力。并且BN方法能够随机打乱训练数据，防止对每批数据进行训练时，多次挑选到某一个样本。
1.2胶囊层
mp3批量下载胶囊层由PrimaryCaps层和DigitCaps层组成。PrimaryCaps层属于下层胶囊，作用是接收卷积层检测到的初级特征，用于生成特征组合。该层首先对第2个卷积层的输出执行卷积运算，卷积核数量为128，
尺寸大小为9x9，滑动步长为2；随后将卷积后的特征图重新映射为32个8维封装的通道；最终输出32x9x9x8维的特征图组合。DigitCaps层属于上层胶囊，该层的输出为包含了重建对象所需要的实例化参数信息的向量形式，分别表示分割内膜和外膜信息的向量，通过动态路由机制生成，维度大小是2x64。与卷积层不同,DigitCaps层的输出是通过动态路由算法获得的。接收PrimaryCaps层8维向量输出u，后，通过权重矩阵W，映射到64维向量N中。最终,DigitCaps层的输入s 定义为
s=工c i u i(2)
i
式中，C，是由路由迭代过程确定的计算系数。
输出V的定义为
v时S⑴
1+llsll2llsll⑶上一层中的输出U，之间的耦合系数C；由动态路由算法进行迭代更新与确定，具体为
c.=CXP(6J(4)
X exp(D)
i
式中，b，是一个临时变量并且初始化为0，它的值会在迭代过程中更新，当整个算法运行完毕后，通过式(4)保存成C,。
1.3全连接层
在DigitCaps层中，动态路由改变了特征图中像素之间的空间相关性。如果直接对DigitCaps层的输出结果进行上采样处理，则难以准确提取目标区域。为了解决这一问题，本文在Seg-CapNet模型中添加了两个全连接层，利用全连接层重新组合特征信息。将DigitCaps层输出的2个64维向量分别映射到全连接层，该层由两个1024维向量组成，经过全连接层后，该向量重新调整为16x16x4的特征矩阵，最后通过ReLU函数激活输出结果。1.4上采样层
本文采用反卷积方法对上一层输出的特征图进行上采样处理。第1层反卷积层的输入是最后一层全连接层的输出结果经过reshape后的4x4X16尺寸的特征图。第1层反卷积的卷积核数量为64，卷积核大小为9x9，反卷积步长为2，采用ReLU函数激活第1层反卷积输出结果，输出特征图的维度为32x32x64。为了在上采样过程中拥有更多图像细节信息，恢复出更好的干净图像，本模型将第1层反卷积的输出与第2个卷积层的输出进行特征融合操作，输入第2层反卷积中，反卷积的卷积核数量为64，卷积核大小为9x9，反卷积步长为2,ReLU函数激活输出结果，第2层反卷积输出特征图维度为64x
64x64。在最后一层反卷积中，反卷积的卷积核数量为1，卷积核大小为9x9，反卷积步长为2，输出结果维度为128x128x1，通过该层最终将输出结果还原为与原始输入图像相同的尺寸。由于输出的分割结果为二值图像，在最后一层的反卷积操作中采用sigmoid函数激活最终输出的分割结果，具体定义为
s(%)=]一(5)
complaining1+e
1.5损失函数
在医学图像分割领域，通常将Dice相关系数作为分割结果与原始图像相似度的评价指标。Dice 相关系数是两个轮廓之间相似或重叠度的一种度量，具体定义为
z、2I j.H J p|.、
5八算而⑹式中，儿表示真实轮廓，儿表示分割结果，儿，儿e [0,1r”皿和/1分别表示图像尺寸。
hvs从式(6)可以看出，Dice系数的值在0〜1之间。分割结果越准确，表示与实际分割目标的真实轮廓越接近,Dice系数就越趋于1。因此，为了最小化目标函数，将1减去Dice系数作为整个模型的损失函数。Dice损失函数厶d定义为
6(儿，儿)=(1-o,(y t,j p))+(1-o…(j,,j p))
(7)式中，0表示左心室心肌内膜的Dice系数值，久表示左心室心肌外膜的Dice系数值。可以看出，当分割结果的Dice值越高，整个函数的损失值就越小，最终达到反馈和更新整个模型参数的目的。
损失函数B只分别度量了内膜与外膜的相似
