收稿日期：２０２０ ０９ ０８；修回日期：２０２０ １０ ２７ 基金项目：河南省高等学校青年骨干教师培养计划资助项目（２０１８ＧＧＪＳ０７９）；国家自然科学基金资助项目（Ｕ１５０４６２２，３１６７１５８０）
作者简介：周玉（１９７９ ），男，安徽枞阳人，副教授，硕导，博士，主要研究方向为智能控制与决策、模式识别、智能计算等（ｚｈｏｕｙｕ＿ｂｅｉｊｉｎｇ＠１２６．ｃｏｍ
）；孙红玉（１９９８ ），女，河南荥阳人，硕士研究生，主要研究方向为模式识别、智能计算；朱文豪（１９９６ ），男，河南洛阳人，硕士研究生，主要研究方向为智能控制与决策、智能计算；任钦差（１９９４ ），男，河南周口人，硕士研究生，主要研究方向为模式识别、智能计算．
基于Ｋ均值聚类的分段样本数据选择方法
周 玉，孙红玉，朱文豪，任钦差
（华北水利水电大学电力学院，郑州４５００４５）
摘 要：为了提高神经网络分类器的性能，提出一种基于Ｋ均值聚类的分段样本数据选择方法。首先通过Ｋ
均值聚类把训练样本根据已知的类别数进行聚类，对比聚类前后的各类样本，找出聚类错误的样本集和聚类正确的样本集；聚类正确的样本集根据各样本到聚类中心的距离进行排序并均分为五段，挑选各类的奇数段样本和聚类错误的样本构成新的训练样本集。该方法能够提取信息量大的样本，剔除冗余样本，减少样本数量的同
时提高样本质量。利用该方法，结合人工和Ｕ
ＣＩ数据集对三种不同的神经网络分类器进行了仿真实验，实验结果显示在训练样本平均压缩比为６６．９３％的前提下，三种神经网络分类器的性能都得到了提高。关键词：训练样本；数据选择；Ｋ均值聚类；分类器；神经网络中图分类号：ＴＰ１８３ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２１）０６ ０１５ １６８３ ０６ｄｏｉ
：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０２０．０９．０２３６ＳｅｇｍｅｎｔａｔｉｏｎｔｒａｉｎｉｎｇｄａｔａｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＫ ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇ
ＺｈｏｕＹｕ，ＳｕｎＨｏｎｇｙｕ，ＺｈｕＷｅｎｈａｏ，ＲｅｎＱｉｎｃｈａｉ
（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒ，ＮｏｒｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏ
ｆＷａｔｅｒＲｅｓｏｕｒｃｅｓ＆ＥｌｅｃｔｒｉｃＰｏｗｅｒ，Ｚｈｅｎｇｚｈｏｕ４５００４５，Ｃｈｉｎａ）
治标Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｓｅｇｍｅｎｔｅｄｓａｍｐｌｅｄａｔａｓｅ ｌｅｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＫ ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇ．Ｆｉｒｓｔ，Ｋ ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇｗａｓｕｓｅｄｔｏｃｌｕｓｔｅｒｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅｓａｃｃｏｒｄｉｎｇｔｏ
ｔｈｅｎｕｍｂｅｒｏｆｋｎｏｗｎｃａｔｅｇｏｒｉｅｓ
，ａｎｄｔｈｅｎｉｔｃｏｍｐａｒｅｄｔｈｅｓａｍｐｌｅｓｂｅｆｏｒｅａｎｄａｆｔｅｒｃｌｕｓｔｅｒｉｎｇｔｏｆｉｎｄｏｕｔｔｈｅｓａｍｐｌｅｓｅｔｓｗｉｔｈｃｌｕｓｔｅｒｉｎｇｅｒｒｏｒｓａｎｄｔｈｅｃｏｒｒｅｃｔｓａｍｐｌｅｓｅｔｓ．Ｓｅｃｏｎｄ，ｔｈｉｓｍｅｔｈｏｄｓｏｒｔｅｄｔｈｅｃｏｒｒｅｃｔｓａｍｐｌｅｓｅｔｏｆｃｌｕｓｔｅｒｉｎｇａｎｄｄｉｖｉｄｅｄｉｔｉｎｔｏｆｉｖｅｓｅｇｍｅｎｔｓａｃｃｏｒｄｉｎｇｔｏｔｈｅｄｉｓｔａｎｃｅｆｒｏｍｅａｃｈｓａｍｐｌｅｔｏｔｈｅｃｌｕｓｔｅｒｉｎｇｃｅｎｔｅｒａｎｄｓｅｌｅｃｔｅｄｔｈｅｓａｍｐｌｅｓｏｆｏｄｄｓｅｇｍｅｎｔｓａｎｄ
ｔｈｅｓａｍｐｌｅｓｏｆｃｌｕｓｔｅｒｉｎｇｅｒｒｏｒｓｔｏｆｏｒｍａｎｅｗｔｒａｉｎｉｎｇｓａｍｐｌｅｓｅｔ．Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃｏｕｌｄｓｅｌｅｃｔｉｎｆｏｒｍａｔｉｖｅｄａｔａ
，ｄｅｌｅｔｅｒｅｄｕｎｄａｎｔｄａｔａ，ｒｅｄｕｃｅｔｈｅｎｕｍｂｅｒｏｆｔｒａｉｎｉｎｇｄａｔａｓｅｔａｎｄｉｍｐｒｏｖｅｔｈｅｑｕａｌｉｔｙｏｆｔｒａｉｎｉｎｇｄａｔａｓｅｔ．ＴｈｉｓｍｅｔｈｏｄｕｓｅｄｓｏｍｅｃｌａｓｓｉｆｉｅｒｓｂａｓｅｄｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｍｂｉｎｇｔｈｅａｒｔｉｆｉｃｉａｌｄａｔａｓｅｔａｎｄＵＣＩｄａｔａｓｅｔｓｔｏｓｔｕｄｙ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｔｈｒｅｅｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓｉｓｉｍｐｒｏｖｅｄｗｈｉｌｅｔｈｅａｖｅｒａｇｅｃｏｍｐｒｅｓｓｉｏｎｒａｔｉｏｏｆｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅｓｉｓ６６．９３％．Ｋｅｙｗｏｒｄｓ：ｔｒａｉｎｉｎｇｄａｔａ；ｄａｔａｓｅｌｅｃｔｉｏｎ；Ｋ ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇ；ｃｌａｓｓｉｆｉｅｒ；ｎｅｕｒａｌｎｅｔｗｏｒｋ
０ 引言
基于机器学习的分类器性能依赖于训练样本［１］，从现存样本中进行数据选择以获取高质量的训练数据可有效提高分类器的性能。目前，通过选择样本数据来提高分类器性能以及
样本数据选择方法的研究已受到学者们的广泛关注［２～１４］
。支持向量机（ＳＶＭ）是一种广泛应用于非线性高维模式识别问题的分类模型。然而，由于支持向量机的计算困难和模型的复杂性，在处理大规模训练集时，支持向量机的实现是低效或不可行的。针对该问题，文献［２］研究了支持向量机训练集的约简重建问题，针对样本在向量空间中分布不均匀的问题，从基于几何的角度提出了一种有效的自适应训练样本选择算法，并通过实验验证了该方法具有较高的效率。文献［３］利用模糊聚类提高监督学习的性能，提出了三种基于模糊聚类方法的数据选择策略，即基于中心的数据选择；基于边界的数据选择和混合选择；基于中心的数据选择是将每个群集中具有高隶属度的样本作为训练数据，基于边界的选择是提取群集之间的样本，即边界数据作为训练样本，混合选择是基于中心选择和边界选择的组合；该方法使用ＦＣＭ来实现数据选择并通过ＢＰ神经网
络进行验证，实验证明与随机选择相比混合选择可以有效提高
分类器的学习性能。为了提高分类器性能，文献［４］提出一种基于阴影集的训练样本数据选择方法；首先通过Ｆ
ＣＭ聚类得到样本数据的最优模糊划分矩阵，基于此得到相应的阴影集，最后通过阴影集构造核数据和边界数据并进行数据选择；实验证明该方法能够在保证泛化能力的同时减少样本数量和训练所需时
间，有效提高了分类器性能。文献［５］进一步探讨了在一个集群中存在聚类和分散的数据点，认为聚类中心点周围的数据点是位于聚类内层的密集数据点，这些数据点不包涵支持向量（ＳＶ）被删除；而分散的数据点是集群外层的稀疏数据点，这些数据点具有ＳＶ，因此被保留；提出利用Ｆｉｓｈｅｒ判别比确定密集数据点与分散数据点之间的边界，通过去除集群中的冗余
密集数据点，加快支持向量机的训练过程。文献［
６］利用样本向量之间夹角的余弦值提出了一种减少单分类训练集规模的新方法，该方法只保留了在可能成为支持向量的数据分布附近
的样本。文献［
７］提出一种基于余弦相似度的边界样本选择方法，并提高了卷积神经网络的性能。文献［
８］提出一种基于邻域样本密度的ＳＶＤＤ样本剪辑方法，通过选取一个固定大小的邻域，并计算邻域内的样本数，根据确定的阈值选择丢弃还
第３８卷第６期２０２１年６月 计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３８Ｎｏ．６
Ｊｕｎ．２０２１
是保留邻域样本，所保留的样本接近边缘。文献［９］采取了类似的方法，通过确定一个固定邻域球来进行边界数据的选择。与文献［８，９］不同的是，文献［２］提出一种壳状数据选择方法，以各类样本集的中心向量为圆心，以Ｒ为半径的圆形区域进行冗余数据点的筛选，通过对各样本点到中心向量的距离与筛
选半径Ｒ进行比较，
若比Ｒ小，则剔除该向量点，重新计算筛选后的中心向量对样本点继续进行筛选，直到筛选不到点或该类别中剩余的点达到截断阈值Ｔ；通过筛选后剩余的样本点大部分分布在各类的类边缘，其形状在向量空间中类似于一个壳；相比于同类的其他几何型数据选择方法，该方法几乎完整地保留了样本的边界数据即壳边缘，其具有更高的准确率。文献［１３］提出了一种基于排名的样例选择，该算法根据每个样例与训练集中所有其他样例的关系来计算每个样例的得分，根据得分排名选择样例，并通过实验验证该方法的有效性。文献［
１４］设计了基于非平稳割点样本选择的二型ＡＦＳ分类方法，该方法在保持较好的分类准确率和语义的基础上，可以有效降低类描述的复杂度。
通常来说，位于样本集类别中心的样本包含的信息量较大，但如果中心样本过多，则会出现冗余信息，导致过学习，使得训练得到模式的类区域过于狭小，使得边界样本和差样本容易识别错误。分类器学习的目的是为找到一个分类曲面，训练则为了这一分类超曲面的生成，单纯地使用边界样本进行训练会出现过拟合现象，使得分类器的泛化能力下降。因此，在进行数据选择时，应该考虑选择后的样本能够代表样本的整体分布，也要考虑重点样本的选取。基于此，本文提出一种基于Ｋ均值聚类的分段样本数据选择方法。
１ 相关概念
１ １ 样本数据选择定义
训练样本数据选择就是从原始训练样本集Ｔ中尽量多地
删除其中冗余样本和噪声样本的过程，然后得到一个压缩集Ｔ′且使选择后得到的样本集Ｔ′能够保持或者改善分类器的分类性能。具体定义如下：设初始训练集为｛Ｘ，Ｐ｝＝｛（ｘ１，ｐ１
），（ｘ２，ｐ２），…，（ｘｎ，ｐｎ）｝，表示有ｎ个训练样本，其中｛ｘｎ｝ｎｉ＝１为样本的特征属性，｛Ｐｎ｝ｎｉ
＝１为样本的类别标签。存在一个最小的压缩集｛Ｘ′，Ｐ′｝ ｛Ｘ，Ｐ｝，使得任意｛ｘ，ｐ｝ ｛
Ｘ，Ｐ｝，Ｐ＝ｃｌａｓｓｉｆｉｅｒ（ｘ，｛Ｘ′，Ｐ′｝）表示测试样本ｘ使用分类器在选择的压缩集｛Ｘ′，Ｐ′｝上的分类结果。由上面的训练样本数据选择的定义可知，样本选择的目的就是从初始训练样本集中挑选出一个压缩子集，保证分类器对测试样本进行分类时能够正确分类
的同时尽可能地使样本集的样本数目减少［１０，１１］
。训练样本数据选择过程如图１
所示。
进行样本选择时需要满足两个前提条件：ａ）挑选出来的
训练样本集在一定程度上小于原始训练样本，这样才能保证所挑选出来的训练样本具有代表性，能够
反映样本的整体特征；ｂ）由特定的样本选择算法对样本进行选择以后获得的压缩样本集数量应小于测试样本的数量，这仅为理论要求，其目的是为了证明压缩样本集中的样本能够在测试样本集分类时起到决定性作用。１ ２ Ｋ均值聚类
Ｋ均值聚类算法（Ｋ ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ）是常用的
一种迭代求解的聚类分析算法，其具体步骤如下：
假定数据集为Ｘ＝｛ｘ１，ｘ２，…，ｘｉ，…，ｘｎ
｝，聚类成的簇数为Ｋ，聚类中心为Ｃ＝｛ｃ１，ｃ２，…，ｃｊ，…，ｃｋ
｝。ａ）从数据集Ｘ中随机选择Ｋ个样本为初始的聚类中心。ｂ）对数据集中的每一个样本ｘｉ
（ｉ＝１，２，…，ｎ），计算其与聚类中心ｃｊ
（ｊ＝１，２，…，ｋ）的距离，距离计算公式为Ｄ（ｘｉ，ｃｊ
）＝∑ｍ
ｗ＝
１（ｘｉｗ－ｃｊｗ
）槡
２
（１）
其中：ｍ为样本的维度。
ｃ）根据计算出的各个样本到聚类中心的距离，找出最小距离并把该样本划分到对应的簇。
ｄ）根据式（２）对聚类中心进行重新计算更新，根据式（３）计算目标函数的结果，计算公式为
ｃ′ｊ
＝∑ｘｉ∈ｃｊｘｉ
｜ｃｊ
｜（２）Ｅ＝∑ｎ
ｉ＝１∑ｘｉ∈ｃｊｄ２
（ｃｊ，ｘｉ
）（３）
ｅ）对聚类中心和目标函数进行判断，达到要求则算法结
束，否则继续进行步骤ｂ）。
Ｋ均值聚类算法对大数据集有着比较高的效率，简单快
速，其时间复杂度接近线性，在很多领域有着广泛应用［１５～１７］
。
２ 基于Ｋ均值聚类的分段样本选择方法
本文提出了一种基于Ｋ均值聚类的分段样本数据选择方法。首先通过Ｋ均值聚类把训练样本根据已知的类别数进行聚类，对比聚类前后的各类样本，找出聚类错误的样本集和聚类正确的样本集；聚类正确的样本集根据各样本到聚类中心的距离进行排序并均分为五段，挑选各类的奇数段样本和聚类错误
的样本构成新的训练样本集。分段的首尾样本可以看做中心样本和边界样本，这样的样本是最典型的样本；首尾样本加上中断样本，能够确保选择后的样本能够代表样本的整体分布；对于聚类错误的样本，可以认为这类样本属于特殊的边界样本。因此，基于Ｋ均值聚类的分段样本数据选择方法既考虑保留原始样本的分布状态，也考虑到了典型样本的选取。２ １ 算法步骤
基于Ｋ均值聚类的分段样本数据选择方法具体步骤如下：
调月经吃什么药好ａ）对原始训练样本数据进行Ｋ均值聚类分析，将样本集Ｘ分成Ｋ个聚类，即
Ｘ＝｛Ｘｏｒｉｇｉｎａｌ１，Ｘｏｒｉｇｉｎａｌ２，…，Ｘｏｒｉｇｉｎａｌｎ｝＝｛Ｘｃｌｕｓｔｅｒ１，Ｘｃｌｕｓｔｅｒ２，…，Ｘｃｌｕｓｔｅｒ
ｋ
｝（４）在进行聚类分析时，由于Ｋ均值聚类是无监督的聚类方
法，令Ｋ＝ｎ，使得聚类后得到的类别数与原始类别数一致。ｂ）对聚类完成后的Ｋ个类依次与原始的Ｋ个类进行比较并取交集，即
Ｘｉｊ＝Ｘｏｒｉｇｉｎａｌｉ∩Ｘｃｌｕｓｔｅｒ
ｊ
ｉ，ｊ＝１，２，…，ｋ（５）
通过取交集运算，得到Ｘｃｌｕｓｔｅｒ
ｉ
与每一个原始类的交集个数，｜Ｘｉｊ｜＝ｔ，｜Ｃ｜记为集合Ｃ中元素的个数。ｃ）找出与类Ｘｏｒｉｇｉｎａｌｉ交集样本个数最多的聚类Ｘｃｌｕｓｔｅｒ
ε（ｉ），ε（ｉ）＝ａｒｇｍａｘ｛｜Ｘｉｊ′
｜，ｊ′＝１，２，…，ｋ｝，得到新的样本集：Ｘ１＝∪ＫＩ＝１Ｘｒｉｇｈｔｉ＝∪ｋｉ＝１（ＸｏｒｉｇｉｎａｌＩ∩Ｘｃｌｕｓｔｅｒ
ε（ｉ））（６）Ｘ２＝∪ｋｉ＝１Ｘｗｒｏｎｇｉ＝∪ｋｉ
＝１（Ｘｏｒｉｇｉｎａｌｉ－Ｘｒｉｇｈｔｉ）（７）
这里要找出与Ｘｏｒｉｇｉｎａｌｉ对应的Ｘｃｌｕｓｔｅｒｊ。基于Ｘｏｒｉｇｉｎａｌｉ和Ｘｃ
ｌｕｓｔｅｒ
ｊ，有Ｘｉｊ＝Ｘｉｏｒｉｇｉｎａｌ∩Ｘｃｊｌｕｓｔｅｒ＝｛ｘ｜ｘ∈Ｘｏｉｒｉｇｉｎａｌ，ｘ∈Ｘｃｊ
ｌｕｓｔｅｒ｝ ｉ，ｊ＝１，２，…，ｋ（８）
对应固定的ｉ，如果Ｘｃｌｕｓｔｅｒ
ｊ满足Ｘｉｊ＝ｍａｘ｛｜Ｘｉｊ′
‖ｊ′＝１，２，…，ｋ｝，则把Ｘｃｌｕｓｔｅｒｊ记为Ｘｃｌｕｓｔｅｒε（ｉ）。即把｛Ｘｃｌｕｓｔｅｒ
ｊ｜ｊ＝１，２，…，ｋ｝对应到原始的类别，按原始类标签顺序对聚类产生的Ｋ个类进
·４８６１·计算机应用研究第３８卷
行重排为｛Ｘｃｌｕｓｔｅｒ
ε（ｉ）｜ｉ＝１，２，…，ｋ｝，其中ε是Ｋ均值聚类产生的Ｋ类｛１，２，…ｋ｝的置换。使得qq空间网址
Ｘｉε
（ｉ）＝ｍａｘ｛｜Ｘｉｊ′｜｜ｊ′＝１，２，…，ｋ｝（９）
其中：Ｘｉε（ｉ）使Ｘｏｒｉｇｉｎａｌｉ和Ｘｃｌｕｓｔｅｒ
ｊ有最多的交集；ε（ｉ）＝ａｒｇｍａｘ｛｜Ｘｉｊ′｜，ｊ′＝１，２，…，ｋ｝，ε（ｉ）为从１到Ｋ，表示使得Ｘｏｒｉｇｉｎａｌｉ和Ｘｃｌｕｓｔｅｒｊ有最多交集的ｊ，用Ｘｒｉｇｈｔｉ来表示其交集即第ｉ类样本聚类正确的数据，Ｘｒｉｇｈｔｉ＝｛ｘ｜ｘ∈Ｘｏｒｉｇｉｎａｌｉ，ｘ∈Ｘｃｌｕｓｔｅｒε（ｉ）｝。在此映射ε被用来处理交集Ｘｉｊ
。ε：Ｘｉｊ
→Ｘｒｉｇｈｔ
ｉ ε
（ｉ）＝ｊ０ε（ｉ）≠{
ｊ
（１０）
可以看出集合｛Ｘｃｌｕｓｔｅｒε
（ｉ）｜ｉ＝１，２，…，ｋ｝是相对于｛Ｘｏｒｉｇｉｎａｌ
｝ｉｉ＝１，２，…，ｋ｝而言集合｛Ｘｃｌｕｓｔｅｒｊ
｜ｊ＝１，２，…，ｋ｝的重排，则集合与聚类的交集可以理解为原始类别聚类正确的训练集。从原始训
练集中去除掉这一部分即得到Ｘ２＝∪ｋｉ＝１Ｘｗｒｏｎｇｉ＝∪ｋｉ＝１（Ｘｏｒｉｇｉｎａｌ
ｉ－Ｘｒｉｇｈｔｉ）
，就是原始类别聚类错误的数据。ｄ）根据Ｋ均值聚类中各类样本到其聚类中心的距离Ｄ对
新的样本集Ｘ１
中的每类样本按从近到远进行排序；把聚类正确的数据根据Ｋ均值聚类结果中每个样本到其聚类中心的距离Ｄ进行由近及远的一个排序。
ｅ）选取排序后Ｘ１中每类样本Ｘｒｉｇｈｔ
ｉ（ｉ＝１，２，…，ｋ）的首、中、尾三段样本构成新的样本集Ｘｎｅｗ
，具体如下：
首先根据新的样本集Ｘ１中的每类样本的个数｜Ｘｒｉｇｈｔ
ｉ｜＝ｔｉ
，把每类样本均分成五段，每段样本个数为ｔｉ
／５，分别取奇数段的样本即选取第一段、第三段和第五段共３ｔｉ／５个样本构成新的样本集Ｘｎｅｗ，通过这一步的选择去除掉大部分的冗余样本，保留了聚类正确的样本集中的中心样本、部分内部样本和边界样本。
ｆ）由步骤ｅ）得到的Ｘｎｅｗ和步骤ｃ）中得到的Ｘ２
共同组成新的训练样本集：
Ｔ＝Ｘｎｅｗ∪Ｘ
２
（１１）
把步骤ｅ）得到的新的样本集Ｘｎｅｗ
与步骤ｃ）中得到的原始
类别聚类错误的样本集Ｘ
２
共同组成新的训练样本集Ｔ＝Ｘｎｅｗ∪Ｘ２，作为神经网络分类器的训练样本进行训练，这里加
入聚类错误的样本集Ｘ２
的原因是因为Ｋ均值聚类错误的样本大都位于分类边界附近，这部分的样本数据对分类器的训练起着至关重要的作用。
ｇ）将选择后得到的训练集Ｔ作为训练样本输入分类器进行训练。
基于Ｋ均值聚类的分段样本数据选择方法流程如图２
所示。
２ ２ 数据选择可视化过程
为了更好理解所提出的数据选择方法，这里利用一组人工
生成的数据集进行可视化描述，具体如下：人工数据集由两类数
据组成，每类包含１
００个样本数据，样本分布如图３（ａ）所示；为了压缩数据集，提取有效数据，剔除冗余样本，利用提出的基于
聚类的分段样本数据选择方法对原始训练样本进行处理；通过Ｋ均值聚类算法进行聚类得到的聚类结果如图３（ｂ）
所示。
Ｋ均值聚类是通过初始化聚类中心不断计算样本到聚类
中心的距离进行迭代分类的过程，通过运行Ｋ均值聚类算法可以得到各个聚类样本集中的样本到各自聚类中心的距离Ｄ，根据距离Ｄ的大小对聚类正确的样本进行排序分段。
选取第二类样本集为例进行描述，其聚类正确的样本分段
结果如图４所示，
其中第一段包含的样本数据表示其距离聚类中心较近，第五段包含的样本数据表示其距离聚类中心较远。通过图４样本到聚类中心距离的分段分布图可以看出，第一段、第三段、第五段包含的样本数据能够清晰地勾勒出样本整体结构，第五段为对分类器训练起决定性作用的边界样本集，第一段为样本中心的部分数据，第三段包含了样本分布结构中
的中间部分的数据。由此可以得出算法步骤ｅ
）中选取排序后Ｘ１中每类样本Ｘｒｉｇｈｔｉ（
ｉ＝１，２，…，ｋ）的首、中、尾三段样本构成新的样本集Ｘｎｅｗ具有理论意义和实际操作价值。其通过挑选典型样本，不仅剔除了聚类正确的样本数据集中五分之二的冗余数据，还保证了训练样本集的样本质量。挑选后的奇数段样本和聚类错误的样本共同构成新的训练样本集，选择后的样本分布如图５
所示。
３ 仿真实验
为了验证所提出的基于聚类的分段样本数据选择方法对
神经网络分类器性能提高的影响，这里分别采用人工和ＵＣＩ数据集进行实验，将所提样本数据选择方法与神经网络分类器相结合并对实验结果进行分析总结。这里的神经网络分类器包括ＢＰ网络、ＬＶＱ网络以及可拓神经网络（ｅｘｔｅｎｓｉｏｎｎｅｕｒａｌ
ｎｅｔｗｏｒｋ家庭矛盾怎么处理
，ＥＮＮ）。其中ＥＮＮ是继模糊神经网络、遗传神经网络、进化神经网络等之后的又一种新的网络类型，ＥＮＮ已经在分
类聚类、模式识别、故障诊断等方面获得广泛应用［１８～２０］。
３ １ 人工数据集
为验证所提基于聚类的分段样本数据选择方法，先使用人
工数据集对所挑选的样本数据对分类器性能的影响进行评估，
此人工产生的符合高斯分布的数据集由四类组成，每类１００个南诏
样本个数，共４
００个，属性为两个，样本集如图６所示。实验时每类随机挑选７０％的样本共２８０个样本作为训练集，其余
·５８６１·第６期周 玉，等：基于Ｋ均值聚类的分段样本数据选择方法
３０％共１２０个样本作为测试集，通过本文方法对训练样本集进
行挑选，挑选后的训练样本集大小为１６８，压缩比例为６０％。
挑选前后训练样本集的分布对比如图７
所示。
分别用挑选前后的训练样本集以及从训练样本集中随机
挑选与挑选的训练集具有相同压缩比的随机选择训练集对
ＢＰ、ＬＶＱ、ＥＮＮ三个分类器进行训练，用测试集对其进行测试，
对比随机选择的具有相同压缩比的训练集是因为随机数据挑
选方法选择简单，是目前应用最为广泛的数据选择方法［１２］，其
选择的样本集分布相对来说也比较均匀，通过对比更能说明本
文方法在相同压缩比的前提下所挑选的样本质量更高。实验
结果如表１所示。从表１可以得出以下结论：ａ）对人工数据集
进行训练测试可知挑选后的训练集对ＢＰ、ＬＶＱ进行训练能够
对测试集的分类精度有所提高，ＥＮＮ的测试集分类精度不变，
但挑选后的训练集只有原始训练集的６０％，提出的数据选择
方法能够极大地压缩训练集数量，剔除了大量的冗余样本，提
高分类精度，证明了所挑选的训练集能够代表样本的整体信
息，提高分类器泛化能力；ｂ）对ＢＰ神经网络而言，挑选后训练
集的分类精度有所提高，且挑选后的训练集在进行训练时只需
要９４步就能达到原始训练集训练１５５步达到的精度，挑选后
的训练集具有更短的学习时间和更好的学习能力；ｃ）挑选训
练集与具有相同压缩比的随机选择训练集对比，ＢＰ网络的学
习步长和测试集分类精度均有所提高，ＬＶＱ虽然训练步长相
同，但训练集的训练误差和测试集的分类精度均有所提高，
ＥＮＮ网络表现相同，可以看出所提数据选择方法在相同压缩
比的前提下与随机选择相比其所挑选的样本质量更高。
表１ 实验结果
Ｔａｂ．１ Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ
训练集样本集大小网络模型结构学习步数测试集正确率／％
原始训练集２８０
ＢＰ２ ８ ４１５５９９．１７
ＬＶＱ２ １０ ４３９８．３３
ＥＮＮ２ ４１９９．１７
挑选的训练集１６８
ＢＰ２ ８ ４９４９９．５８
ＬＶＱ２ １０ ４３９９．１７
ＥＮＮ２ ４１９９．１７
内心强大的句子随机选择训练集１６８
ＢＰ２ ８ ４１０７９７．５
ＬＶＱ２ １０ ４３９８．３３
ＥＮＮ２ ４１９９．１７
３ ２ ＵＣＩ数据集
这里采用ＵＣＩ数据集中的ｉｒｉｓ、ｗｉｎｅ、ｓｅｅｄｓ和ｍｏｎｋｓ２四个数据集进行对比实验，各数据集的详细信息如表２所示。
表２ 数据集介绍
Ｔａｂ．２ Ｄａｔａｓｅｔｓ’ｉｎｔｒｏｄｕｃｔｉｏｎ
实验时每类随机挑选７０％的样本作为训练集，其余３０％样本作为测试集，对比实验为训练集变为通过提出的分段样本数据选择方法对训练样本集进行挑选后的训练样本集，以及随机选择的训练样本集，随机选择的样本与挑选的样本数量一致，即具有相同压缩比，而测试集不变，然后对ＢＰ、ＬＶＱ、ＥＮＮ三种分类器分别进行训练和测试，结合样本压缩比以及通过对比分析三种训练样本集对分类器的训练曲线和测试集的分类正确率，对所提新训练样本数据选择方法进行评估。
挑选前测试集与训练集数量大小如表３所示，通过本文方法进行挑选后获得的训练样本信息如表４所示。
表３ 训练集与测试集信息
Ｔａｂ．３ Ｔｒａｉｎｉｎｇｓｅｔａｎｄｔｅｓｔ
ｓｅｔｉｎｆｏｒｍａｔｉｏｎ
表４ 训练集样本压缩比
Ｔａｂ．４ Ｔｒａｉｎｉｎｇｓｅｔｓａｍｐｌｅｃｏｍｐｒｅｓｓｉｏｎｒａ
ｔｉｏ
３ ２ １ ｉｒｉｓ数据集
利用ｉｒｉｓ数据集进行实验的结果如表５所示。图８～１０分别为原始样本和经过本文方法选择后的样本进行训练的曲线。
表５ 实验结果
Ｔａｂ．５ Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ
训练集样本集大小网络模型结构测试集正确率／％
原始
训练集
１０５
ＬＶＱ４ １６ ３９５．５６
ＥＮＮ４ ３９７．７８
ＢＰ４ ７ ３１００
挑选
冬天吃什么菜
训练集
６７
ＬＶＱ４ １６ ３９７．７８
ＥＮＮ４ ３１００
ＢＰ４ ７ ３１００
随机选择
训练集
６７
ＬＶＱ４ １６ ３９５．５６
ＥＮＮ４ ３９７．７８
ＢＰ４ ７ ３９７．７８
由表５以及图８～１０分析可得：ａ）对于ｉｒｉｓ数据集的三种训练集，通过ＢＰ、ＬＶＱ、ＥＮＮ分别进行训练测试，其中随机选择训练集与原始训练集对于ＢＰ、ＬＶＱ、ＥＮＮ三种神经网络达到分类精度的训练步数分别从３０３８步减少到５８６步，８４４步减少到２８０步，８步减少到６步，且分类精度ＬＶＱ、ＥＮＮ保持不变，ＢＰ分类精度有轻微下降，说明随机选择能够减少样本集的数量，使得训练步长减少，且分类精度大部分变化不明显，对于个别分类器有所下降，是目前使用最广泛最简单的数据选择方法；ｂ）挑选训练集与原始训练集进行训练后测试样本集的分类精度ＬＶＱ、ＥＮＮ均有所提高，ＢＰ保持不变，且训练步数ＢＰ从３０３８步减少到３６６步，ＬＶＱ从８４４步减少到１２５步，ＥＮＮ从８步减少到７步，说明挑选后的训练集相比较原始训练集具有更短的学习时间和更好的学习泛化能力；ｃ）挑选训练集与随机训练集进行训练后测试样本集的分类精度ＬＶＱ、ＥＮＮ、ＢＰ均有所提高，且训练步数ＢＰ从５８６步减少到３６６步，ＬＶＱ从２８０步减少到１２５步，ＥＮＮ从６步变为７步，训练步长基本都
·
６
８四季草莓
６
１
·计算机应用研究第３８卷
有所降低，ＥＮＮ训练步长也仅增加一步但分类精度却从９７．７８％提高到１００％，说明相比于随机挑选方法，所提训练样本选择方法选择的样本质量更高，训练后分类器的泛化能力更强。
