mexican

龙源期刊网

墨西哥帽小波混沌神经网络及其应用

作者：张中华张世龙黄磊

来源：《软件》2011年第03期

摘要：此文用墨西哥帽小波函数和Sigmoid函数相加组成一个新函数，利用此函数作为激

励函数，提出一种新型的暂态混沌神经元模型，通过实验给出该神经元的倒分叉图以及最大

Lyapunov指数时间演化图，并且分析此神经元的动力学特性。基于该神经元模型，构造一种

暂态神经网络，并将其应用于组合优化和预测方面，通过对经典的10城市TSP，验证墨西哥

帽小波混沌神经网络在克服陷入极小点的有效性。

关键词：小波函数；混沌神经网络；Lyapunov指数

中图分类号：TP368.1文献标识码：Adoi:10.3969/.1003-6970.2011.03.007

TheMexicanHatWaveletChaoticNeuralNetworkanditsApplication

ZHANGZhong-hua,ZHANGShi-long

(HuaDeCollegeofHarbinIndustryUniversity,theNo.5ofUniversityRoad,Harbin150025)

【Abstract】ByintroducingMexicanHatWaveletequationplusSigmoidequationasactivative

function,wepropodanewtypeTransientChaoticNeuronModel,andprovideditsbifurcation

diagramandtimeevolutiondiagramofLyapunovexponent,this

NeuronModel,webuildaTransientNeuralNetwork,anduittocombinatiorialoptimizationand

testeditffectivenessbytypical10cities’sTSP.

【Keywords】Waveletfunction;theChaoticNeuralNetwork;Lyapunovexponent

0引言

现在，Hopfield神经网络(HopfieldNeuralNetwork,

HNN)已经被广泛地应用于求解复杂组合优化问题，但HNN存在最大的缺点是在求解过程

中极易陷入局部极小点，为了克服这一问题，人们将混沌动力学的全局搜索特性引入神经网络

中，提出了多种混沌神经网络模型，并取得良好的效果[1-4]。

龙源期刊网

目前，混沌神经网络的神经元激励函数大都采用单调递增的Sigmoid函数，尽管该函数具

有比较强的生理学背景，但严格来讲它不是基函数，因此其逼近函数的能力没有基函数强[5-

6]。由于小波函数可以是正交性的基函数，保证了逼近函数表达似的唯一性，且小波函数对突

变函数逐步惊喜的特性描述，使得函数的逼近效果更好[5-9]。1992年小波神经网络的概念被

正式提出，用小波伸缩和平移得到的小波元函数作为神经元的激发函数，用随机梯度算法对网

络进行训练，以实现对函数的逼近,并取得良好的效果[8]。

墨西哥帽小波函数（MexicanHat）具有小波函数的数学特性，本文把Sigmoid激励函数换

成以墨西哥帽小波函数和Sigmoid函数相加之和，利用自反馈项引入混沌特性，提出一种新的

小波混沌神经元模型，通过实验分析该神经元模型的动力学特征。基于此神经元模型构造出一

种小波混沌神经网络，即墨西哥帽小波混沌神经网络，它具有小波函数的正交性和混沌动力学

特性。将此神经网络应用于函数优化和组合问题，并给出解决经典TSP问题的参数，经仿真

试验证明，和以往的神经网络相比，该小波混沌神经网络具有更强的克服陷入极小点的能力。

1墨西哥帽小波混沌神经元模型

墨西哥帽小波混沌神经元模型的激励函数为MexicanHat小波函数与Sigmoid函数之和，

该模型的动力学定义如下：

xi(t)=M(yi(t))+S(yi(t))（1）

yi(t+1)=kyi(t)-zi(xi(t)-I)（2）

M(T)=(1-μT(1+εi(t)))2exp(-(μT(1+εi(t)))2/2)（3）

S(T)=1/(1+exp(-T/τ))（4）

zi(t+1)=(1-β)zi(t)（5）

εi(t+1)=(1-γ)εi（6）

其中xi、yi和Ii为第i个神经元的输出、内部状态和输入偏置；k(0≤k≤1)为神经隔膜的阻

尼因子；zi(t)(0≤zi(t))为自反馈连接权；μ为墨西哥小帽函数的陡度参数；τ是陡峭参数；

β(0≤β≤1)为时变量zi(t)的衰减因子；γ(0≤γ≤1)为时变量εi(t)的衰减因子；I0为一个正常数。当

参数取下列初始值时，混沌神经元混沌动力学特性如图1：k=0.3,β=0.005,γ=0.005，

ε0=20,z(0)=30,I0=0.15，y(0)=0.8,τ=1,μ=0.25。

图1混沌神经元的动力特性

Fig.1Dynamiccharacteristicsofchaoticneurons

龙源期刊网

从上图可知，无论初始值y(0)取任何值，此混沌神经元迭代3000次，最终趋向稳定值，

此稳定值为1.50000。由此可知该网络具有暂态混沌动力学行为，随着迭代次数的增加，z(t)和

ε(t)也随之衰减，该网络的暂态混沌行为最终消失，神经元输出趋于稳定。通过倍周期的连续

混沌倒分岔过程，网络将逐渐趋于稳定的平衡点。因此，该网络在求解优化问题时，其暂态混

沌动力学行为可用来全局搜索和自组织，由于混沌搜索具有内随机性和轨道遍历性，随机性可

以保证大范围搜索能力，轨道变历性使系统自身的演化行为不重复地变历所有可能状态，有利

于克服一般随机算法中以分布遍历性为搜索机制带来的局限性，因此它具有使网络避免陷入局

部极小值的能力，当暂态混沌动力行为消失以后，网络基本上由梯度下降的动力学控制，此时

行为类似于Hopfield网络，系统最终将收敛于一个稳定的平衡点。

2墨西哥帽小波混沌神经网络模型

基于上节给出的神经元模型，构造出墨西哥帽小波混沌神经网络(MWCNN,MexicanHat

WaveletChaoticNeuralNetwork)，其动力学公式如下：

xi(t)=M(yi(t))+S(yi(t))(7)

yi(t+1)=kyi+a(ΣjWijxj+Ii)-zi(t)(x(t)-I0)(8)

M(T)=(1-μT(1+εi(t)))2exp(-μT(1+εi(t))2/2)(9)

S(T)=1/(1+exp(-T/τ))(10)

zi(t+1)=(1-β)zi(t)(11)

εi(t+1)=(1-γ)εi(t)(12)

其中xi、yi和Ii为第i个神经元的输出、内部状态和输入偏置；Wij为从第j个神经元到

第i神经元的连接权值；a为神经元间的连接强度，又称耦合因子；k(0≤k≤1)为神经隔膜的阻尼

因子；zi(t)(0≤zi(t))为自反馈连接权；μ为墨西哥小帽函数的陡度参数；τ是陡峭参数；β(0≤β≤1)

为时变量zi(t)的衰减因子；γ(0≤γ≤1)为时变量εi(t)的衰减因子；I0为一个正常数。

混沌神经网络模型的动态特性很敏感的依赖k，zi(t)和a。k为网络记忆保留或遗忘内部状

态的能力；自反馈连接项zi(t)是动态减小的，类似于随机模拟退火中的温度，退火速度依赖于

β的大小，zi(t)最终使网络收敛到一个平衡点；a也具有很重要的作用，它代表着能量函数对动

态特性的影响；在解决组合优化问题时，它们的搭配必须合适，如果a太大，则能量函数的影

响太强，以至于无法得到暂态混沌现象；如果太小，能量函数的影响太弱，将无法收敛到最优

解[9]。

3小波函数参数变化神经元动力特性的影响

龙源期刊网

本节通过实验进一步研究墨西哥小波函数的参数μ，研究参数μ对神经单元动力学的影

响，将有利于我们选取正确的参数，根据实际的需要，来选择合适的参数，使混沌神经网络的

性能达到最大。

经研究和仿真发现，当其他参数的值保持不变，参数μ值的变化对混沌神经元的收敛速度

将产生很大的影响，其变化过程如图2至图4所示。

当k=0.3,β=0.002，γ=0.003，ε(0)=20，z(0)=30，I0=0.15,y(0)=0.8,μ=0.2,τ=1时，其收敛速

度如下图2所示，迭代2000次就趋向稳定。

图2μ=0.2的倒分岔图

Fig.2Reverdbifurcationofμ=0.2

当k=0.3，β=0.002，γ=0.003，ε(0)=20,z(0)=30，I0=0.15,y(0)=0.8,μ=0.6，τ=1时，其收敛

速度如下图3所示，迭代3000次就趋向稳定。

图3μ=0.4的倒分岔图

Fig.3Reverdbifurcationofμ=0.6

当k=0.3，β=0.002，γ=0.003，ε(0)=20,z(0)=30，I0=0.15,y(0)=0.8,μ=1.0，τ=1时，其收敛速

度如下图4所示，迭代4000次就趋向稳定。

图4μ=1.0的倒分岔图

Fig.4Reverdbifurcationofμ=1.0

由以上的研究和仿真，可得出结论，墨西哥帽小波神经单元的迭代次数随着参数μ的值增

大，趋向稳定的迭代次数也越来越大，产生混沌的时间也越来越长，参数μ的变化影响了搜索

到全局最优的速度。但是迭代次数的增加更有利于跳出局部极小值，因此，在实际应用的过程

中，要选择合适的μ值，在不影响速度的情况下，适当提高迭代次数，以达到最优解，跳出局

部最小值。

当激励函数只有Sigmoid函数时，那么神经元就变成了暂态混沌神经元，当其参数取值

k=0.3，β=0.002，ε=20，z(0)=30,I0=0.15，y(0)=0.8时，其到分岔图如图5。在参数取值相同的

情况下，墨西哥帽小波混沌神经元的倒分岔图如图2所示，经对比发现墨西哥帽小波混沌神经

元具有更丰富的混沌动力特性，因此墨西哥帽小波混沌神经元对全局寻优和避免陷入局部最小

值具有更好的性能。

图5暂态神经元的倒分岔图

龙源期刊网

Fig5ReverdbifurcationofTransientNeurons

4在组合优化中的应用

本节研究将MWCNN应用于10个城市的旅行商问题（TSP），旅行商问题描述如下：

给定n个城市的集合{1,2,3……,n}及城市之间环游的花费Cij(1≤i≤n，1≤j≤n，i≠j)，需要找

到一条经过每个城市一次且回到起点花费最小的路线。

达到最短路径并满足所有限制条件的一个能量函数可以描述如式(13)[10]。

(13)

式中，xij为神经元输出，代表以顺序j访问城市i，xi0=xiN，dij为城市i,j之间的距离；

系数A和B代表条件和距离的权值。因此一个全局最小的E值代表一条最短的有效路径。

组合优化应用的步骤如下：

第一步：初始化参数：假设给定的城市数目为N，计算N个城市间的距离，得到一个

N×N的距离矩阵；

第二步：设置一个神经网络收敛的迭代步数；

第三步：神经网络的输入应为一个N×N矩阵，随机初始化一个N×N的初始输入矩阵y，

y∈[-1,1]；

第四步：由上一步初始输入计算得到一个输出矩阵；

第五步：根据网络的输出，按式(13)所示的公式计算能量函数，并求出能量函数的变化

ΔE，如果ΔE≤0.005，则认为混沌过程结束，转入下一步，否则继续计算神经网络的输出，重

复第四步和第五步。

第六步：判断路径是否有效，如果为有效路径，就认为此路径为最优路径，输出此最优路

径，否则判断是否达到迭代的步数。

下面进行仿真实验，仿真中选用的是Hopfield-Tank最初解决10个城市的TSP问题时使用

的城市坐标。

首先我们先看暂态混沌神经网络(TCNN)对TSP问题的解决方法的仿真实验[10]，参数值

设定为：k=0.8,a=0.0147，μ=0.02，I0=0.5，z(0)=0.06。初始状态在[-1,1]区间取值，对10个城

市的TSP进行10000次仿真结果，如下表1所示。

龙源期刊网

表1中，NG表示10000次寻优过程中得到最优解的次数，RG表示10000次中得到最优解

的百分比，NI表示平均迭代次数。

接着就要把MWCNN对TSP问题的解决方法的仿真实验，参数值设定为：k=0.3，

γ=0.003，ε(0)=20，z(0)=0.06，I0=0.5，a=0.014,μ=0.2,τ=1。初始值在区间[-1,1]中随机取，对10

个城市的TSP进行10000次仿真的结果见表2：

表1的符号和表2的意义相同。

从表1和表2的仿真结果对比看到，对于TCNN来说，在10000次仿真结果中找到最有解

的比率较高，但是，我们提出的MWCNN最优解率更高，平均在93%以上，有的甚至达到

96%以上；其次，在参数相同的情况下，MWCNN的平均迭代次数明显降低。因此，无论是在

寻找全局最优解，跳出局部最小值上，还是在平均迭代次数上，都表现出TCNN无可比拟的

优势。

从以上仿真结果可以看出，MWCNN具有更好的组合优化能力。

5结论

本文在前人成果的基础上提出了墨西哥帽小波混沌神经元，此神经元的激励函数是

MexicanHat小波函数和Sigmoid复合函数，并引进了混沌特性，通过仿真发现此神经元既具

有墨西哥帽小波的特性，也兼具了混沌以及神经元的特性，把三者优势巧妙的结合在一起，形

成了一种全新的神经元。

基于此神经元建立了一个全新的墨西哥帽小波神经网络模型(MWCNN)，通过仿真实验发

现，MWCNN不仅具有混沌动力学特性，而且具有小波函数的正交性和函数逼近的唯一性。

本文通过对参数u=0.2,0.6,1.0进行研究，验证其神经元的混沌性和收敛性的特性。并将

MWCNN应用于TSP问题，与暂态神经网络相比，发现其有效性和函数逼近能力都有较大的

提高，并取得较好的效果。

参考文献

[1]ChenL,csimulatedannealingbyaneuralnetworkmodelwithtransient

chaos[J].NeuralNetworks,1995,8(6):915-930.

[2]YamadaT，AiharaK，KotaniM．ChaoticNeuralNetworksandtheTravellingSalesman

Problem[C]，Proceedingsof1993InternationalJointConferenceonNeuralNetworks，1993：1549-

1552．

[3]AiharaK，ToyadaM，TakabeT．ChaoticNeuralNetworks[J]．PhysicsLettersA，

1990，144(6)：333-340．

龙源期刊网

[4]谭营，王保云，何振亚.一种具有暂态混沌和时变增益的神经网络及其在优化计算中的

应用[J]，电子学报，1998,26(7):123-127.

[5]SHUAIJW，CHENZX，LIURT．Self-evolutionNeuralModel[J]．PhysicsLettersA，

1996，211(5)：311-316

[6]POTAPOVEA，KALIM．RobustChaoinNeuralNetworks

[J]．PhysicsLettersA，2000，277(6)：310-322．

[7]ZhangJ，WalterGG，MiaoYB．WaveletNeuralNetworksforfunction

lernning[J]．IEEETransactiononSignalProcessing，1995，43(6)：1485-1497．

[8]侯媛彬，杜京义，汪梅.神经网络(M).西安：西安电子科技大学出版社，2007.

[9]徐耀群，孙明.Shannon小波混沌神经网络及其在TSP中的应用[C].Proceedingofthe

25thChineControlConference7-11August,2006,Haebin,Heilongjiang:1172-1176.

[10]Hopfield,y

Cybernet-ics,1985,52(7):141-152.

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文