一种皮肤病图像识别分类方法及系统
1.本发明涉及图像处理技术领域，特别是涉及一种皮肤病图像识别分类方法及系统。
背景技术：
2.皮肤具有保护、排泄和调节人体体温的功能，这是人体最大的器官。随着科技的快速发展，以及生活方式和环境的变化，世界各地越来越多的人患有皮肤病。与其他类型的癌症相比，皮肤癌的病例数是最多的，同时，其高死亡率使其成为世界上最严重的健康问题之一。在所有皮肤癌中，黑素瘤患者只有5％，但晚期生存率仅为15％。早期皮肤病诊断是降低其发病率和提高患者生存率的关键因素。因此，皮肤病图像的识别分类是很重要的。
3.皮肤科医生的肉眼检查通常是发现和诊断可疑皮肤病变的第一步，然而，人工检测高度依赖于医生的临床经验，且皮肤病图像本身的复杂性，如图像中病变皮肤区域的颜、纹理、形状、大小，以及毛发、静脉血管、光照变化和标尺标记等伪影，对检测造成了巨大的障碍。
4.一些传统的皮肤病辅助检测手段基于不同规则，如：abcd规则(asymmetry，border，color，diameter)、7点检测和孟席斯方法，被用来提高医生诊断的准确性和效率。但是近年来这些规则依靠的皮肤病变特征出现了许多超出规则的变异。此外，计算机辅助诊断系统(computer-aided diagnosis，cad)、支持向量机、模糊逻辑计算分析等方法在皮肤病的检测中也发挥了重要作用，但这些研究仍然有一些局限性，它们涉及到手工提取特征和繁琐的图像预处理，并且想要识别所有的皮肤病变特征并组合成单一特征的算法并不容易实现。
5.皮肤病的病变类型繁杂，病变区域外观类间相似度高、类内差异大且类别数据严重失衡，因此给皮肤病的识别分类带来了巨大的困难。随着计算机技术的快速发展，人工智能和深度学习技术得到了广泛的应用。近年来，卷积神经网络(convolutional neural networks，cnns)成为自动识别皮肤损伤的一个更好的解决方案，其准确率较高，不需要人工特征提取和特征选择等繁琐的过程。现有文献(zhang et al)公开了一种用于皮肤病图像中皮肤损伤分类的注意力残差学习卷积神经网络(arl-cnn)模型，该模型由多个arl块、全局平均池层和分类层组成。每个arl块联合使用残差学习和一种新的注意学习机制来提高其区分表示能力旨在利用深度卷积神经网络固有的自注意力能力，即使用高层学习的特征图来生成低层的注意力图。但该模型没有解决皮肤病变数据存在的类别不平衡问题，无法实现高效准确识别分类。
6.因此，为了解决这类问题，有学者提出了一种以vgg19模型为基本框架的结构化深度卷积神经网络用于素性皮肤病分类(《计算机应用》2018，38(11))，该方法采用数据增强方法进行数据预处理，然后利用迁移学习在增强后的数据集上进行模型调优训练，在此过程中通过设置不同的softmax损失权重系数，来缓解数据类别不均衡的问题，提高了模型的性能。但该模型对皮肤病图像中皮肤病变关键语义区域的关注能力较差，导致分类精度
较低。
7.基于上述，利用深度学习技术对皮肤病变进行识别分类仍然是一个相当大的挑战，因为类别间相似性高，类内差异大，类别数据严重失衡，分类精度差，具有较低的鲁棒性。亟需提出一种皮肤病图像识别分类方法，提高皮肤病的识别分类精度及准确率。
技术实现要素：
8.本发明的目的是提供一种皮肤病图像识别分类方法及系统，能够提高皮肤病的识别分类精度及准确率。
9.为实现上述目的，本发明提供了如下方案：
10.一种皮肤病图像识别分类方法，包括：
11.获取待识别分类的皮肤病图像数据集；所述皮肤病图像数据集包括多种不同类型的皮肤病图像；
12.获取三个不同的卷积神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；
13.将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练；所述空间结合通道的注意力模块包括：空间注意模块和改进的通道注意模块；所述改进的通道注意模块包括：由多尺度膨胀卷积层构成的膨胀金字塔池化；
14.利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；
15.对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。
16.可选地，所述将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练，具体包括：
17.获取分类后的皮肤病图像数据集；
18.利用生成对抗网络对分类后的皮肤病图像数据集进行数据增强；
19.利用数据增强后的分类后的皮肤病图像数据集分别训练三个基础模型。
20.可选地，所述金字塔池化中膨胀卷积的膨胀率分别为1、2、3和4。
21.可选地，所述对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果，具体包括：
22.将所述分类结果映射到两个不同凹度的非线性函数上，生成模糊秩。
23.一种皮肤病图像识别分类系统，包括：
24.待识别分类的皮肤病图像数据集获取模块，用于获取待识别分类的皮肤病图像数据集；所述皮肤病图像数据集包括多种不同类型的皮肤病图像；
25.基于多层特征融合的卷积神经网络模型确定模块，用于获取三个不同的卷积神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；
26.训练好的基础模型确定模块，用于将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据
集进行训练；所述空间结合通道的注意力模块包括：空间注意模块和改进的通道注意模块；所述改进的通道注意模块包括：由多尺度膨胀卷积层构成的膨胀金字塔池化；
27.分类结果确定模块，用于利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；
28.最终识别分类结果确定模块，用于对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。
29.可选地，所述训练好的基础模型确定模块具体包括：
30.分类后的皮肤病图像数据集获取单元，用于获取分类后的皮肤病图像数据集；
31.数据增强单元，用于利用生成对抗网络对分类后的皮肤病图像数据集进行数据增强；
32.训练好的基础模型确定单元，用于利用数据增强后的分类后的皮肤病图像数据集分别训练三个基础模型。
33.可选地，所述金字塔池化中膨胀卷积的膨胀率分别为1、2、3和4。
34.可选地，所述最终识别分类结果确定模块具体包括：
35.模糊秩生成单元，用于将所述分类结果映射到两个不同凹度的非线性函数上，生成模糊秩。
36.根据本发明提供的具体实施例，本发明公开了以下技术效果：
37.本发明所提供的一种皮肤病图像识别分类方法及系统，采用多层特征融合模块来有效地融合语义和尺度不一致的特征，丰富不同大小的特征语义信息，并将该结构应用于三个不同的卷积神经网络模型，得到基于多层特征融合的不同卷积神经网络模型；分别对所述基于多层特征融合的卷积神经网络模型不同的特征层中嵌入一种有效的空间结合通道的注意力模块，得到基于多层特征融合且加入注意力模块来进一步提取皮肤病变区域纹理信息的不同卷积神经网络模型，从扩大的感受野中提取多尺度特征，并过滤初始特征的有意义信息，并且提出基于模糊秩的多层特征融合卷积神经网络集成模型对皮肤病进行分类，进而能够提高皮肤病的识别分类精度及准确率。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明所提供的一种皮肤病图像识别分类方法流程示意图；
40.图2为本发明所提供的一种基于生成对抗网络的皮肤病图像生成原理示意图；
41.图3为本发明所提供的一种基于多层特征融合且加入注意力模块的卷积神经网络模型对比其他网络模型使用梯度加权类激活映射(grad-cam)的热力图，突出显示影响皮肤病图像预测的重要区域；
42.图4为基础模型分类结果进行基于模糊秩的集成学习后识别分类结果评价示意图；
43.图5为本发明所提供的一种皮肤病图像识别分类系统结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.本发明的目的是提供一种皮肤病图像识别分类方法及系统，能够提高皮肤病的识别分类精度及准确率。
46.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
47.图1为本发明所提供的一种皮肤病图像识别分类方法流程示意图，如图1所示，本发明所提供的一种皮肤病图像识别分类方法，包括：
48.s101，获取待识别分类的皮肤病图像数据集；所述皮肤病图像数据集包括多种不同类型的皮肤病图像。
49.其中，皮肤病的类型为7种，即光化性角化病、基底细胞癌、良性角化病、皮肤纤维瘤、黑素细胞痣、黑素瘤、血管性皮肤病变。
50.s102，获取三个不同的卷积神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；
51.传统算法在对皮肤病图像进行卷积神经网络分类时，只选择高卷积层特征来训练。然而神经网络模型中的不同特征层反映了图像的不同特征信息。网络的高层特征图分辨率低，视场大，可以提取图像的语义特征信息。相反，网络的浅层特征图分辨率高，但局部视场小，可以提取图像的纹理特征。事实证明，细节特征可以在一定程度上提高分类精度。皮肤病图像识别分类的准确性取决于特征的选择。本发明采用一种多层特征融合模块，该模块可以丰富不同尺寸特征地图的特征语义信息。
52.s103，将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练；所述空间结合通道的注意力模块包括：空间注意模块和改进的通道注意模块；所述改进的通道注意模块包括：由多尺度膨胀卷积层构成的膨胀金字塔池化；膨胀金字塔池化采用1
×
1大小的点卷积层控制输出尺寸，然后结合膨胀率为1、2、3、4的四种膨胀卷积，构成金字塔池化，通过不同膨胀率的平行膨胀卷积层捕获不同接收场的多尺度信息。该结构将多尺度信息连接起来，以获得高级的上下文信息。此外，不同膨胀速率下的膨胀卷积可以显著降低网络参数。假设输入特征表示为f
in
[i]，输出特征表示为f
out
[i]。
[0053]
扩张卷积如下定义利用公式确定扩展卷积。
[0054]
其中，w[k]和d分别表示滤波器的kth参数和膨胀率，k代表滤波器的大小，如上述公式所述，通过使用不同的膨胀率可以得到不同的接收场。把f
k，d
(f
in
)定义为一个扩张的卷积层，其中f
in
表示输入特征，则本发明使用的膨胀金字塔池化块f
dpp
＝f
1,1
(f
in
)+f
3,2
(f
in
)+f
3,3
(f
in
)+f
3,4
(f
in
)。
[0055]
空间注意模块对不同的信息部分进行区分性注意，并对每个特征图分配像素级注意权值，这是对通道注意的补充。特征信息的不同取决于详细信息的重要性，如边缘或复杂
的纹理。
[0056]
为了有效地计算和实现逐像素的空间注意，本发明使用一种具有扩展卷积的有效空间注意模块。首先沿着通道轴将两个池化操作(平均池化和最大池化)连接起来对图像空间中的全局信息进行集成，生成两个具有二维权值的特征图：和然后连接两个扩张卷积层来构建空间注意图m
ds
(f)∈rh×w，扩张卷积可以从放大的感受野中提取多尺度特征，更好地过滤初始特征的有意义信息，同时大大减少了网络参数。
[0057]
利用公式
[0058]
确定具有二维权值的空间注意力模块。
[0059]
其中σ(
·
)表示sigmoid激活函数，和分别表示扩张率为2和3，尺寸大小为3
×
3的扩张卷积层。
[0060]
s103具体包括：
[0061]
获取分类后的皮肤病图像数据集；
[0062]
利用生成对抗网络对分类后的皮肤病图像数据集进行数据增强；
[0063]
如图2所示，生成器网络(g(z))和鉴别器网络(d(x))是生成对抗网络体系结构中的两个主要网络。
[0064]
通过学习数据的底层分布和结合来自鉴别器的反馈，生成器模型生成皮肤病图像。其目的是误导鉴别器网络错误地将生成的数据区分为真实的数据集，并最终优化损失价值函数v(d,g)。损失价值函数利用公式计算可得。
[0065]
鉴别器模型的目的是估计一个输入数据是真实的或虚假的数据的概率，这可以看作是一个分类器。生成器模型和鉴别器模型都具有对称的架构，因为它是确保两个模型显示相同的功率和公平竞争的最有效的方法。
[0066]“二元交叉熵损失”是生成对抗网络所采用的损失函数，利用公式可以求得。
[0067]
利用数据增强后的分类后的皮肤病图像数据集分别训练三个基础模型。
[0068]
s104，利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；
[0069]
s105，对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。
[0070]
s105具体包括：
[0071]
将所述分类结果映射到两个不同凹度的非线性函数上，生成模糊秩。
[0072]
分类结果的置信度分别为这里由于使用了三个模型，所以i＝1,2,3.由于代表概率，因此它将遵循公式代表概率，因此它将遵循公式和是利用两个不同凹度的非线性函数生成的模
糊秩，其中由非线性凸函数计算可得，由非线性凹函数计算可得。计算非线性概率函数的定义域为[0,1]，即计算可得。计算非线性概率函数的定义域为[0,1]，即为融合秩，其中由等式计算可得。是由两种不同凹度的函数生成的模糊秩的乘积，表示特定类别的置信水平。融合的分数元组是(fs1,fs2,fs3,
…
fsc)，其中fsk由等式计算可得。该融合概率可以作为每个类对应的最终概率。发现具有最低融合概率的类，经过公式的计算后对集合模型的贡献变得很大，故将得分最低的作为最终预测类别。
[0073]
为了验证本发明基于加入注意力机制的多层特征融合模块和基于模糊秩的集成学习的皮肤病图像识别分类方法的性能，选取了使用梯度加权类激活映射(grad-cam)的热力图来突出显示影响皮肤病图像预测的重要区域，如图3所示，其中图3中(b)部分、(c)部分、(d)部分和(e)部分分别代表alexnet、vgg-13、resnet-50和arl_14模型识别分类时影响图像预测显著区域的热力图。图4为基础分类模型与基于模糊秩的集成学习模型分类结果比较评价示意图。为了更好的对分类结果进行分析和对比，采用了准确率(acc)、精确度(pre)、召回率(recall)和f1等客观评价标准进行了计算，得到的结果如表1所示。本发明方法的分类结果在各项客观评价指标上均增加了，这也从客观角度有效地说明了本发明方法的分类性能要优于其它各种方法。从表1可知，本发明提出的算法在分类识别准确率和精确度方面都优于其他模型算法。
[0074]
表1
[0075][0076]
图5为本发明所提供的一种皮肤病图像识别分类系统结构示意图，如图5所示，本发明所提供的一种皮肤病图像识别分类系统，包括：
[0077]
待识别分类的皮肤病图像数据集获取模块501，用于获取待识别分类的皮肤病图像数据集；所述皮肤病图像数据集包括多种不同类型的皮肤病图像；
[0078]
基于多层特征融合的卷积神经网络模型确定模块502，用于获取三个不同的卷积
神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；
[0079]
训练好的基础模型确定模块503，用于将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练；所述空间结合通道的注意力模块包括：空间注意模块和改进的通道注意模块；所述改进的通道注意模块包括：由多尺度膨胀卷积层构成的膨胀金字塔池化；
[0080]
分类结果确定模块504，用于利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；
[0081]
最终识别分类结果确定模块505，用于对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。
[0082]
所述训练好的基础模型确定模块503具体包括：
[0083]
分类后的皮肤病图像数据集获取单元，用于获取分类后的皮肤病图像数据集；
[0084]
数据增强单元，用于利用生成对抗网络对分类后的皮肤病图像数据集进行数据增强；
[0085]
训练好的基础模型确定单元，用于利用数据增强后的分类后的皮肤病图像数据集分别训练三个基础模型。
[0086]
所述金字塔池化中膨胀卷积的膨胀率分别为1、2、3和4。
[0087]
所述最终识别分类结果确定模块505具体包括：
[0088]
模糊秩生成单元，用于将所述分类结果映射到两个不同凹度的非线性函数上，生成模糊秩。
[0089]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0090]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
技术特征：
1.一种皮肤病图像识别分类方法，其特征在于，包括：获取待识别分类的皮肤病图像数据集；所述皮肤病图像数据集包括多种不同类型的皮肤病图像；获取三个不同的卷积神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练；所述空间结合通道的注意力模块包括：空间注意模块和改进的通道注意模块；所述改进的通道注意模块包括：由多尺度膨胀卷积层构成的膨胀金字塔池化；利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。2.根据权利要求1所述的一种皮肤病图像识别分类方法，其特征在于，所述将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练，具体包括：获取分类后的皮肤病图像数据集；利用生成对抗网络对分类后的皮肤病图像数据集进行数据增强；利用数据增强后的分类后的皮肤病图像数据集分别训练三个基础模型。3.根据权利要求1所述的一种皮肤病图像识别分类方法，其特征在于，所述金字塔池化中膨胀卷积的膨胀率分别为1、2、3和4。4.根据权利要求1所述的一种皮肤病图像识别分类方法，其特征在于，所述对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果，具体包括：将所述分类结果映射到两个不同凹度的非线性函数上，生成模糊秩。5.一种皮肤病图像识别分类系统，其特征在于，包括：待识别分类的皮肤病图像数据集获取模块，用于获取待识别分类的皮肤病图像数据集；所述皮肤病图像数据集包括多种不同类型的皮肤病图像；基于多层特征融合的卷积神经网络模型确定模块，用于获取三个不同的卷积神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；训练好的基础模型确定模块，用于将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练；所述空间结合通道的注意力模块包括：空间注意模块和改进的通道注意模块；所述改进的通道注意模块包括：由多尺度膨胀卷积层构成的膨胀金字塔池化；分类结果确定模块，用于利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；最终识别分类结果确定模块，用于对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。6.根据权利要求5所述的一种皮肤病图像识别分类系统，其特征在于，所述训练好的基础模型确定模块具体包括：
分类后的皮肤病图像数据集获取单元，用于获取分类后的皮肤病图像数据集；数据增强单元，用于利用生成对抗网络对分类后的皮肤病图像数据集进行数据增强；训练好的基础模型确定单元，用于利用数据增强后的分类后的皮肤病图像数据集分别训练三个基础模型。7.根据权利要求5所述的一种皮肤病图像识别分类系统，其特征在于，所述金字塔池化中膨胀卷积的膨胀率分别为1、2、3和4。8.根据权利要求5所述的一种皮肤病图像识别分类系统，其特征在于，所述最终识别分类结果确定模块具体包括：模糊秩生成单元，用于将所述分类结果映射到两个不同凹度的非线性函数上，生成模糊秩。
技术总结
本发明涉及一种皮肤病图像识别分类方法及系统。该方法包括获取待识别分类的皮肤病图像数据集；获取三个不同的卷积神经网络模型，并将多层特征融合模块融合到每一卷积神经网络模型中，确定三个基于多层特征融合的卷积神经网络模型；将每一基于多层特征融合的卷积神经网络模型中嵌入空间结合通道的注意力模块，确定三个基础模型，并利用分类后的皮肤病图像数据集进行训练；利用三个训练好的基础模型对待识别分类的皮肤病图像数据集进行分类，确定三个分类结果；对三个所述分类结果进行基于模糊秩的集成学习，得到最终识别分类结果。本发明能够提高皮肤病的识别分类精度及准确率。明能够提高皮肤病的识别分类精度及准确率。明能够提高皮肤病的识别分类精度及准确率。
