第50卷第6期 Vol.50 No.6
山东大学学报（工学版）
JOURNAL OF SHANDONG UNIVERSITY (ENGINEERING SCIENCE)
2020年12月
Dec. 2020
文章编号：1672-3961 (2020)06-0059-09 DOI： 10.6040/j.issn. 1672-3961.0.2020.235
基于N R C和多模态残差神经网络的
肺部肿瘤良恶性分类
霍兵强、周涛“2*，陆惠玲3，董雅丽、刘珊1
(1.北方民族大学计算机科学与工程学院，宁夏银川750021; 2.宁夏智能信息与大数据处理重点实验室，宁夏银川750021;
3.宁夏医科大学理学院，宁夏银川750004)
摘要：针对深度卷积神经网络训练时的网络退化、特征表达能力不强等问题，提出一种基于非负表示分类和多模态残差神经网络的肺部胖瘤（residual neural network-non negative reprentation classification, resnet-NRC)良恶性分类方法。使用迁移学习将预训练残差神经网络模型初始化参数；分别用CT、P E T和PET/CT 3个模态的数据集训练残差神经网络，提取全连接层的特征向量；采用非负表示分类器（non-negative reprentation classification, N R C)对特征向量进行非负表示，求解非负系数矩阵；利用残差相似度进行肺部肿瘤良恶性分类。通过AlexNet、GoogleNet、ResNet-18/50/101模型进行对比试验，试验结果表明，ResNet-NRC分类效果优于其它模型，且特异性和灵敏度等各项评价指标也较高，该方法具有较好的鲁棒性和泛化能力。关键词：残差神经网络；多模态医学图像；肺部肿瘤；迁移学习；N R C算法
中图分类号:TP391 文献标志码:A
引用格式：霍兵强，周涛，陆惠玲，等.基于NRC和多模态残差神经网络的肺部肿瘤良恶性分类[J].山东大学学报（工学版），2020,50(6) :59-67.
HUO Bingqiang, ZHOU Tao, LU Huiling, et al. Lung tumor benign-malignant classification bad on multi-modal residual neural network and NRC algorithm[ J]. Journal of Shandong University (Engineering Science) , 2020, 50(6) ：59-67.
Lung tumor benign-malignant classification bad on multi-modal residual neural network and NRC algorithm
HUO Bingqiang1, ZHOU Tao1'2*, LU Huiling3, DONG Yali', LIU Shan1
(1. School of Computer Science and Engineering, North Minzu University, Yinchuan 750021, Ningxia, China；2. Ningxia Key Laboratory of Intelligent Information and Big Data Processing, Yinchuan 750021, Ningxia, China；3. School of Science, Ningxia Medical University, Yinchuan 750004, Ningxia, China)
Abstract ：A method for the benign and malignant classification of lung tumors was put forward due t
o Challenges with the training of deep convolutional neural networks, network degradation and a weak ability to express the features bad on non-negative reprentation classification and a multi-modal residual neural network. The pre-trained residual neural network model was initialized using transfer learning, three data ts (C T, PET and PET/CT) were ud to train the network and extract the feature vectors of the fully connected layer, then a non-negative reprentation classifier was ud for the non-negative reprentation of the feature vector, and ud to solve the non-negative coefficient matrix. The residual similarity was ud to classify benign and malignant lung tumors. Comparative experiments were conducted with the AlexNet, GoogleNet and ResNet-18/50/101 models. The experimental results showed that the classification accuracy of the ResNet-NRC was better than the other models, and the specificity and nsitivity indices were also higher. The propod method has improved robustness and generalization ability.
Key w ords：residual neural network；multimcxial medical image；lung tumor；transfer learning；non-negative reprentation classification algorithm
收稿日期：2020-06-18；网络首发时间：2020-10-27 14:25:09
网络首发地址：http: //kns. cnki • net/kcms/detail/37.1391 •T. 20201027 •0908 •004. html
基金项目：国家自然科学基金资助项目（62062003)；北方民族大学引进人才科研启动项目（2020KYQD08)；宁夏自治区重点研发计划资助项目 (引才专项）（2020BEB04022)
第一作者简介：霍兵强（1994一），男，河北石家庄人，硕士研究生，主要研究方向为智能医学影像图像处理，深度学习.
E-mail ：*****************
*通信作者简介：周涛（1977—），男，宁夏同心人，博士，教授，硕士生导师，主要研究方向为医学图像分析处理，模式识别，云计算.
E-mail ：*******************
60山东大学学报（工学版)第50卷
〇引言
肺部肿瘤是发病率和死亡率居高不下的恶性肿瘤之一，大量资料表明，肺部肿瘤发病率逐年增长，严重威胁人类健康，但由于肺部肿瘤患者早期表现主要为肺结节，临床无特异性症状+2]，医护人员难以及时发现与诊断，导致疾病一旦确诊就是癌症晚期，因此，早诊断早发现对于肺部肿瘤的治疗至关重
要。医学影像[3]学方法检查广泛应用于肺部肿瘤的诊断，其中包括x线成像、电子计算机断层扫描（computed tomography,CT)、正电子发射型计算机断层显像（positron emission computed tomography,PET )及磁共振成像(magnetic resonance imaging,MRI)等，目前计算机辅助诊断技术（computer aided diagnosis,CAD)[4]已经广泛应用于各种疾病的诊疗过程中，肺部肿瘤检测是最常见的CAD技术应用之一，引入计算机辅助诊断技术对肺部肿瘤的早期发现与诊疗有着重要的积极作用，所以它在辅助医生诊疗肺部肿瘤领域有着巨大的发展前景。
残差神经网络（residual neural network, ResNet)是近几年来深度学习研究中的热点，在医学图像领域取得较好成就。残差神经网络[5]通过构建残差连接提高特征表达能力，较好的解决卷积神经网络退化问题，加速网络收敛，充分挖掘图像有效信息，在加深网络的同时提高模型特征表达能力，深度残差神经网络在图像识别任务中具显著性的优势。梁蒙蒙等[6]提出基于粒子群优化卷积核肺部肿瘤图像识别算法，采用参数迁移法构造CNN 提取卷积核为初始种群，用粒子群优化卷积对其初始化，更新每个粒子的速度和位置找出全局最优解，利用肺部肿瘤CT数据进行训练，结合梯度下降法对网络微调修正，达到较好的效果;Nibali等[7]将残差神经网络应用于肺结节良恶性分类中，采用ResNet架构，探索迁移学习的效果，和不同网络深度对恶性肿瘤分类的准确性；文献[8]中提出了一种自动肺结节检测算法，该算法结合使用传统的结节检测方法和深度学习模型进行真正的结节识别，通过构造结合了扩张的卷积层的密集扩张的3D深层卷积神经网络和密集块，有效地检测出肺结节并准确估计其直径;Balaz
s Harangi[9]采用集成的方法融合不同深度神经网络架构的分类层的输出，根据CNNs的加权输出进行最终分类，获得较高的分类精度；Jiang等[1°]提出多分辨率残差连接网络(multiple resolution residually connected network, MRRN)，为使残差神经网络充分利用图像中的丰富特征，在残差连接中同时结合多种图像分辨率，以检测和分割肺部肿瘤，实验效果较好。
本研究提出了一种基于非负表示分类[11：和多模态残差神经网络的肺部肿瘤（ResNet-NRC)良恶性分类方法。首先，收集3个模态医学图像（CT，PET,PET/CT)并预处理；然后，将3个数据集在残差网络中训练，构建多模态残差神经网络模型（〇1-ResNet，PET-R esNet，PET/CT-ResNet)，提取全连接层特征向量；最后，在非负表示分类器中得到肺部肿瘤分类结果，通过AlexNet + NNC、AlexNet + Softmax、AlexNet+NRC、GoogleNet+NNC、GoogleNet+ Softmax、GoogleNet+NRC、ResNet-18/50/101 + NNC、ResNet-18/50/101 + Softmax,ResNet-18/50/101 + NRC共15种模型对比，ResNet-101+NRC模型优于其他模型，具有较好的鲁棒性和泛化能力。
1基本原理
1.1残差神经网络基本结构
残差神经网络[5]是由用于特征提取的卷积层和用于特征处理的池化层交叠组成，并且用跨层连接、拟合残差项的手段来解决退化问题和梯度问题的多层神经网络。残差连接将多个卷积层跨层连接实现了
恒等映射[121，恒等映射保证了网络性能不会下降，使得网络在输人特征的基础上学习到新的特征，而残恒等映射不会给网络增加额外的参数和计算量，却可以加快模型的训练速度，优化训练效果。
深度残差神经网络通常由多个残差块结构重叠构成，相邻卷积层通过Shortcut实现残差连接，形成残差块，残差神经网络解决了深层神经网络层数与准确度之间的矛盾，加速网络收敛。残差块结构如图1所迅。其中表7K输人,//;+1表75输出，表7K权重，表示为残差映射。图1中残差块映射为
//,.+1=RelU(//,.+fX//,W,))。（1)当输入维度好，和输出维度仏+1不匹配时，采用线性投影来匹配维度，因此式（1)又可表示为
//,+1= Relu(«p(//,.)+F(//,.))。(2)
何凯明[12]通过试验表明，残差映射比原始映射更容易学习，因此残差神经网络是通过中间的堆叠
层学习残差映射，残差映射^对输出变化更敏感，参数的调整幅度更大，从而加快了学习速度，提髙了网络优化性能。本研究采用ResNet-101网络模型。
第6期霍兵强，等：基于NRC和多模态残差神经网络的肺部肿瘤良恶性分类61
恒等映射F
",W i R e l u H.+]
图1残差神经网络的残差块结构
Fig. 1Residual block structure of ResNet
1.2 NRC算法
高维特征数据的稀疏表示是近年来机器学习领域的研究热点之一，稀疏表示分类（spar reprentation classifier,SRC)[13]的核心思想是测试样本通过来自所有类的训练样本的线性组合来近似表示，然后将测试样本分配给具有最小距离或近似误差的对应类。但是在稀疏表示分类SRC的编码系数会出现负系数，这在实际应用中，使得正负系数相对应的权重抵消的问题，这一定程度上影响样本分类精度。非负表示分类NRC[I1]的分类思想是根据训练样本和测试样本的相似程度进行分类，这与稀疏表示分类SRC相似，但是NRC编码系数限制为非负，非负表示可以增强同构样本的表示能力，同时限制异构样本的表示能力，导致编码系数的稀疏而且来自同一正确的类，使得非负表示同时具有稀疏性和判别性。因此非负表示更倾向于找到同构样本表示查询样本，提高了识别精度。
NRC算法思想来源于Lee等[M]提出非负矩阵分解（non-negative matrix factorization，NMF) , NMF 用于人脸识别，其算法思想为找到两个非负阶乘矩阵，其乘法是对原始样本矩阵的精确近似。通过以下公式求解
min= ||^-(/V||l,(3)
U>0V>0
式中：|丨•II f表示Frobenius范数（又称L2范数），X为样本矩阵，为基矩阵，V为编码矩阵，给出的样本矩阵X，NM F旨在找到两个非负矩阵t/和V，使得NMF表示能够以加法的方式发现原始样本矩阵的局部部分的特征，但它无法明确地产生稀疏解，而非负表示模型仅将系数约束为非负，但允许基础矩阵为样本矩阵，其中样本可包含负元素。引入的基于非负表示的模型可以有效地解决以上问题。
基于以上讨论，NRC算法对于给定测试样本少£1^和训练样本矩阵尤，尤由若干类的样本组成，即X=[X,,…，e R"'j对X的判别编码系数应当对来自相同类的J的同类训练样本是正的，而对于来自不同类的异构训练样本则为零。将编码系数约束为非负，采用以下基于非负表示的模型来找到判别式编码向量
min= ||y-Xc ||\,s.t.c&0(4)
c
c= arg minc ||y-Xc ||\,s.t.c^O(5)基于非负表示的分类模型通过交替方向乘子法(alternating direction method of multipliers, ADMM)[151求解，并且可以收敛到全局最优。NRC 在各种视觉分类数据集的大量试验验证了 NRC分类器的有效性，且NRC分类效果优于SRC等先进分类算法。
2基于非负表示和多模态残差神经 网络的肺部肿瘤良恶性分类模型
本研究提出了一种基于非负表示分类和多模态残差神经网络的肺部肿瘤（ResNet-NRC)良恶性分类方法，该方法采用CT、PET和PET/CT 3个模态的数据集训练残差神经网络并提取特征；解决深度卷积神经网络训练时的网络退化、特征表达能力不强问题，而基于非负表示的分类识别方法对提取的高维数据特征，能有效的提高稀疏表示能力和分类性能。算法整体步骤分为：图像预处理、残差神经网络提取特征、NRC分类。
2.1图像预处理
(1)数据收集。从宁夏某三甲医院核医学科收集2014—2016年已经取得授权的带有明确诊断结论的肺部肿瘤原始图像，每例包括临床结论、检查所见、影像资料等，临床结论是诊断恶性肿瘤的标准。共收集9 000例原始肺部CT、PET、PET/CT 3个模态的原始图像，其中每个模态图像各3 000例；每个模态的肺部肿瘤良性数和恶性数均为1 500例。图2为一幅原始图像。
⑷全身图像（b) PET图像
(c) CT图像
图2 C T、PET、PE T/C T原始图像
Fig.2 CT, PET, PET /CT original images
(d) PET/CT 图
像
62山东大学学报（工学版)
第50卷
数据 <
预处理
ResN et-101
提取特征、向量
特征矩阵
厂
1训练样本矩阵
x,={x \ ••• X 'K]
测试样本矩阵
(2)数据预处理。将肺部3个模态（CT 、PET 、
PET /CT )的原始影像对应编号，去伪彩转化为灰度 图像。从全局灰度图像中根据临床标记截取对应 的病灶区域作为ROI 图像并将其归一化为同样大 小的实验图像，如50 pX x 50 px ，分别得到3个模态 的样本，每个模态均为3 000例数据，每模态分为良 性样本和肺部恶性肿瘤样本，良性样本和肺部恶性
肿瘤样本各1 500例，两类目标，将其按照一定比例 划分为训练集和测试集，分别为1 200例和300例， 并构造与其相对应的二进制标签y ，其中良性标记 为1 ，肺部恶性肿瘤标记为2。2.2残差神经网络
(1) 迁移学习。残差神经网络模型首先在大型 自然图像数据集ImageNet 上预训练，将预训练网络 中的参数作为网络中的初始化参数。(2) 残差神经网络部特征提取。将3个模态的 数据及标签分别输人到预训练残差神经网络，并构 造基于ResNet 模型的3个单模态ResNet 网络，即
CT -ResNet 、PET -ResNet 、PET /CT -ResNet ；并在残差 神经网络中训练，在全连接层提取训练样本和测试 样本特征向量D
2.3 NRC 分类识别
在残差神经网络的全连接层提取训练样本矩 阵和测试样本矩阵的特征向量，将特征矩阵作为非 负表示分类器输人，在非负表示分类其中，将所有
的训练样本矩阵和测试样本矩阵标准化为范数,
求解出非负系数矩阵，进而通过非负系数矩阵求出 每一类的重构误差，最后根据重构残差值相似度完 成最终的分类识别。具体如下：
(1) 以用样本集CT 进行训练为例：对于训练 样
本
••• A ]，X ,+ e CT ，测试样本 _y =
…y …] ,y ,. e CT ，经残差神经网络ResNet - 101特征提取，得到特征空间的训练样本矩阵 [x ；和测试样本矩阵y q w …<] 对于训练样本••• A ]和测试样本:y = [h
…y …]，经残差神经网络特征提取，得到特
征空间的训练样本矩阵义'=[&…义]和测试
样本矩阵y = [>>;…％]。(2) 将矩阵X '和查询样本/每一列标准化为
单位h 范数；
(3) 对/用特征空间的训练样本X '进行非负 表示，得非负系数
c = arg minc \\y '-X'c || \ , s .t . c $：0o
(6)
(4) 通过训练样本对测试样本的非负表示进行
残差相似度分类
(7)
(5) 输出残差结果所对应的标签类别
Label (j ,)= arg min I ( 〇 (8)
基于非负表示和多模态残差神经网络的肺部
肿瘤分类模型ResNet -NRC 如图3所示。
非
负表示
|
残差分类
N R C
算法分类
图3基于N R C 残差神经网络算法流程图
Fig.3 NRC residual neural network algorithm
flowchart
第6期霍兵强，等：基于NRC和多模态残差神经网络的肺部肿瘤良恶性分类63
3算法仿真试验
3.1试验环境
软件环境：WindowslO操作系统，Matlab-R2019a；硬件环境：Intel(R)Core(TM)i5-7200U CPU @ 2.50GHz 2.70 GHz，4.0 GB 内存，500 GB 硬盘。
3.2试验结果及分析
为保证试验数据可靠性，本试验均采用5折交叉法进行训练，将所有样本等分为5份，每份包含相等比例的不同类别样本个数；每次将4份数据作为训练样本，剩余的1份作为测试样本，将每次结果进行平均得到最终的试验结果，即每次的训练样本数为2 400幅，测试样本数为600幅，进行5次试验取平均值。试验分为CT、PET、PET/CT 3个模态数据集分别进行，在不同网络模型AlexNet、GoogleNet、ResNet-18、ResNet-50、ResNet-101 共 5 种网络模型，及3种分类算法：最近邻分类算法(NNC)、Softmax、和非负表示分类算法（NRC)，两两组合的模型进行试验比较，算法评价指标采用精确度（Accuracy)、灵敏度（Sensitivity)、特异性(Specificity)、F值（F-score值）、马修斯相关性系数(Matthews correlation coefficient，MCC)。结果如下
(1)试验1：不同模型精确度与时间的比较
本试验主要讨论15个算法（AlexNet+ NNC、AlexNet+Softmax、AlexNet+ NRC、GoogleNet+NNC、GoogleNet+ Softmax、GoogleNet+ NRC、ResNet-18/ 50/101 + NNC、ResNet-18/50/101 .Softmax、ResNet-18/50/101+NRC)在 3 个不同模态（CT、PET、PET/ CT)的样本空间上进行训练和识别时的识别精度和训练时间，探究不同的网络模型、不同的分类算法和不同的样本空间对残差神经网络识别率和训练时间的影响，具体结果如表1所示。
表1不同模型的精确度与训练时间结果比较
Table 1Comparison of accuracy and training time results of different models
C T模态数据集PET模态数据集PE T/C T模态数据集
幵広
精确度/%训练时间/s精确度/%训练时间/s精确度/%训练时间/S AlexNet+NNC96.37161.4899.57146.6396.60139.25 AlexNet+Softmax98.20164.3399.50148.7797.63138.29 AlexNet+NRC98.80185.9199.83169.4697.97162.38 GoogleNet+NNC95.17404.9799.80385.7996.87402.41 GoogleNet+Softmax96.97408.3899.70386.7
297.27408.02 GoogleNet+NRC98.13430.6199.87408.6798.07429.94 ResNet-18+NNC97.27393.1099.70435.2896.83426.49 ResNet-18+Softmax98.13454.5599.53425.8197.27427.47 ResNet-18+NRC98.77479.7299.80449.6398.27451.69 ResNet-50+NNC97.001176.9199.501035.8597.531162.93 ResNet-50+Softmax98.131182.2899.631036.2997.901169.76 ResNet-50+NRC99.071204.9599.801059.4898.331187.22 ResNet-101+NNC98.131809.1399.431734.0297.631786.40 ResNet-101 +Softmax98.701811.7699.701733.1998.131790.33 ResNet-101+NRC99.201834.4099.901757.3998.671811.17
第1种情况是不同的网络模型与相同的分类算法。在试验1中有3组对比试验，即：（AlexNet+ NNC、GoogleNet+NNC、ResNet-18+NNC、ResNet-50 + NNC、ResNet-101 + NNC );( AlexNet + Softmax、GoogleNet+Softmax.ResNet-18+Softmax,ResNet-50+ Softmax、ResNet-101 + Softmax);( AlexNet+ NRC、GoogleNet + NRC、ResNet-18 + NRC、ResNet-50 + NRC、ResNet-101+NRC)。以第3组为例进行说明，在CT样本空间中，本研究提出的ResNet-101+NRC 模型比 AlexNet+NRC、GoogleNet+NRC、ResNet-18+ NRC、ResNet-50 + NRC、模型的精确度分别提高0.4%、1•07%、0.43%、0. 13%，训练时间分别高
1 648.49、1403.79、1 354.68、629,45 s。不难看出，残差神经网络ResNetlOl与其他模型相比，网络层数深，提取的图像特征丰富，分类精确度高，但是付出的代价是训练时间大幅提高，其它两组结果类似，这里不再累述。
第2种情况采用相同的网络与不同的分类算法。在试验1中有5组对比试验，即（AlexNet+ NNC,AlexNet+ Softmax N AlexNet+ NRC ), (GoogleNet+NNC、GoogleNet+Softmax、GoogleNet+ NRC);( ResNet-18 + NNC、ResNet-18 + Softmax 、
