２０２１年３月第４０卷第１期
内蒙古科技大学学报
ＪｏｕｒｎａｌｏｆＩｎｎｅｒＭｏｎｇｏｌｉａＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ法国高考
Ｍａｒｃｈ，２０２１
Ｖｏｌ．４０，Ｎｏ．１
基于人工神经网络的偏微分方程求解方法
刘文慧１，石琳２，郭勇２，袁冬芳 ２
（１．内蒙古科技大学信息工程学院，内蒙古包头 ０１４０１０；２．内蒙古科技大学理学院，内蒙古包头 ０１４０１０）
摘 要：针对各种微分方程传统的数值方法的求解中，传统的数值方法在求解微分方程时存在计算存储量、计算时间等都随着微分方程维数的增加而剧烈增长的问题，严重制约了高维问题的求解 提出一种求
解偏微分方程的神经网络方法 通过数值算例说明，神经网络方法在求解微分方程问题上有高效率、很好地泛化等优点，为偏微分方程求解提供了一种有效的新途径
关键词：微分方程；人工神经网络；数值方法；损失函数
中图分类号：Ｏ３１３．７ 文献标识码：Ａ
文章编号：２０９５－２２９５（２０２１）０１－０００１－０５ ＤＯＩ：１０．１６５５９／ｊ．ｃｎｋｉ．２０９５－２２９５．２０２１．０１．００１
微分方程常用的数值方法有Ｒｕｎｇｅ Ｋｕｔｔａ方法、线性多步方法、预测校正方法、有限元、有限差分和有限体积等［１，２］ 传统的数值方法计算存储量和计算时间严重制约了高维问题的求解 近年来，人工神经网络在图像识别技术，语音识别和文本分析得到巨大的应用［３－５］ 在电力系统［６］方面、化学工程［７］和环境工程等［８］领域引入神经网络方法来解决各自领域未能解决的任务 经过证明，多层神经网络可以逼近任何非线性函数，因此利用这个良好的性质对微分方程的求解进行研究
１９９７年ＬＡＧＡＲＩＳ等［９］开始用人工神经网络对常微分方程研究，通过算例看出求解的高精度和泛化性 ＪＩＡＮＹＵＡ用径向基神经网络来求解椭圆型偏微分方程［１０］ 后来，相关研究
人员利用小波神经网络研究非线性函数一阶导数的逼近［１１］ ＬＥＥＳＴ［１２］基于小波神经网络，利用蝴蝶优化算法求解二维椭圆偏微分方程，最后从算例说明其算法的高精度和高效率性 １ 神经网络结构
神经网络由最初的单层感知器发展到现在的多层神经网络结构 多层结构的神经网络具有更大容量，可逼近更大更复杂模型 神经网络的基本结构是由神经元构成，如图１，神经元有输入信号和输出信号 两者信号之间通过神经元内部决定，神经元的数学模型有Ｓｉｇｍｏｉｄ函数，Ｔａｎｈ函数，Ｒｅｌｕ函数等 不同的场景应用的激活函数不同
图１ 单个神经元结构图
采用Ｓｉｇｍｏｉｄ函数作为激活函数 其公式为
（ｘ）＝
１
１＋ｅ－ｘ
（１）相关理论证明多层神经网络可逼近任何非线性
基金项目：国家自然科学基金资助项目（１１８０１２８７）；内蒙古自治区自然科学基金资助项目（２０１８ＢＳ０１００２，２０１８ＬＨ０１００８，２０２０ＭＳ０６０１０）；内蒙古自治区高等学校科研基金资助项目（ＮＪＺＺ１８１４０）；内蒙古自治区青年科技英才支持计划基金资助项目（ＮＪＹＴ２０Ｂ１５）；内蒙古科技大学优秀青年基金资助项目（２０１９ＹＱＬ０２）
作者简介：刘文慧（１９９２－），男，内蒙古科技大学硕士研究生，研究方向为冶金过程建模和控制研究、机器学习等
通信作者：ｅ ｍａｉｌ：１２８１３２５５４９＠ｑｑ．ｃｏｍ
收稿日期：２０２０－０９－２８
内蒙古科技大学学报２０２１年３月 第４０卷第１期
函数 采用３层神经网络作为训练模型，模型见图２ ３层神经网络的基本结构由输入层、隐藏层和输出层组成，其中输入和输出的关系见式（２）
图２ ３层神经网络示意图
Ｎ（Ｘ）＝ｗ２ （ｗ１ （ｗＸ＋ｂ）＋ｂ１
） （２）
当神经网络结构确定后，要对神经网络进行学习，优化出逼近真实模型的神经网络参数 学习之前需要设置１种衡量的指标来判断真实模型和逼近模型的误差 常用的误差公式是均方差函数，对于ｍ个训练样本｛（ｘ１，ｙ１），（ｘ２，ｙ２）…（ｘｍ，ｙｍ）｝，神经网络输出｛ｎ１，ｎ２…，ｎｍ｝，则根据均方差函数建立损失函数为：
Ｌｏｓｓ＝
１２∑ｍ
ｊ＝１
（ｎｊ－ｙｊ
）２
（３）
神经网络模型是关于权值ｗ和阈值ｂ的函数，不同的权值和阈值表示不同的模型 神经网络主要对权值
和阈值进行学习，在每次迭代后更新ｗ和ｂ逼近真实模型 当损失函数建立后，选择１种神经网络学习方法 神经网络学习的方法有梯度下降法和共轭梯度法 梯度下降法常作为神经网络的学习规则 权值和阈值学习规则为：
ｗｔ＝ｗｔ－１
＋Δｗ，
（４）ｂｔ＝ｂｔ－１finder是什么意思
＋Δｂ，
（５）Δｗｊｋ
＝－η Ｌｏｏｓｋ
ｗｊｋ，（６）Δｂｊｋ
＝－η Ｌｏｏｓｋ
ｂｊｋ
（７）
式中：η为学习率，
学习率太大不容易收敛，太小导致神经网络学习速度过慢
２ 神经网络求解微分方程方法
微分方程的一般形式及定解条件可描述为：
Ｇ（→ ｘ，Ψ（→ ｘ）， Ψ（→ ｘ）， ２Ψ（→ ｘ，…）＝０，→ ｘ∈Ｄ
boarder（８）
对于某个具体的方程既要满足微分，还要满足边界条件约束为
ｓ．ｔ．Ｇ（→ ｘ，Ψ（→ ｘ）， Ψ（→ ｘ）， ２Ψ
（→ ｘ，…）＝０ｓ．ｔ．∑Ｂ．Ｃ．Ｄ
（ ｐΨ（ｘｂ）－Ｋ（ｘｂ
）
）２
＝{
０ （９）
为了采用神经网络求解微分方程，将损失函数构造为两项和的形式，如式（１０） 损失函数中的第一项满足对微分方程的约束，如式（１１），第二项满足对边界条件的约束，如式（１２）
Ｌｏｓｓ＝ＬｏｓｓＭＳＥ，Ｄ＋ＬｏｓｓＭＳＥ，Ｂ．Ｃｓ
，（１０）ＬｏｓｓＭＳＥ，Ｄ＝ｍｅａｎ（Ｇ（→ ｘ，Ｎ， Ｎ， ２Ｎ，…， ｎ
Ｎ）－Ｇ（→ ｘ，Ψ， Ψ， ２Ψ，…， ｎΨ
））２，（１１）ＬｏｓｓＭＳＥ，Ｂ．Ｃｓ＝ｍｅａｎ（（Ｎ（ｘＢ．Ｃｓ）－Ψ（ＸＢ．Ｃｓ
））２
＋（ Ｎ（ＸＢ．Ｃｓ）－ Ψ（ＸＢ．Ｃｓ））２＋（ ２
Ｎ（ＸＢ．Ｃｓ）－ ２Ψ（ＸＢ．Ｃｓ））２＋…（ ｎＮ（ＸＢ．Ｃｓ）－ ｎΨ（ＸＢ．Ｃｓ
））２
） （１２）
３ 数值算例
考察４个微分方程算例来进行说明 算例１：
ｄ２
Ψ（ｘ）ｄｘ
２
＋２ｘｄΨ（ｘ）ｄｘ＋４（２ｅΨ（ｘ）＋ｅΨ
（ｘ）／２）＝０ 其中求解的区间在［０，１］ 该方程的边界条件Ψ
（０）＝０，ｄΨ（ｘ）ｄｘｘ＝０＝０ 该方程的解析解
Ψ
（ｘ）＝－２ｌｎ（１＋ｘ２
） 选择具有２个隐藏层，１０个神经元，学习率为
０ ００１的３层神经网络进行模型训练
由图３可见，神经网络得到的近似解和解析解十分相似，平均误差在千分之一 为进一步说明神经网络的高精度特性，将真实模型的一阶导数和二阶导数与神经网络的一阶导数和二阶导数进行对比，对比图如图４所示，由图可看出神经网络近似解的一阶即二阶导数和真实解导数的误差也在千分之一 神经网络的精度比传统精度有着很大提升 为了验证模型的精度，在方程定义区间随机选取１００个点样本进行测试验证，可看出测试样本的精度和解析解也是十分吻合，如图５所示
２
刘文慧，等：
基于人工神经网络的偏微分方程求解方法
图３ 算例１训练模型和真实模型及其误差图
（ａ）神经网络训练和真实模型图；（ｂ）
训练和真实模型误差图
马徐俊图４ 算例１训练模型和真实模型一阶导及二阶导图
（ａ）神经网络训练和真实模型一阶导；（ｂ）
神经网络训练和真实模型二阶导
图５ 算例１测试模型和真实模型及其误差图
（ａ）神经网络测试和真实模型图；（ｂ）测试和真实模型误差图
算例２：
２吸血鬼日记片尾曲
φ ｘ２＋ ２
φ
ｙ２＝０ 边界条件：
φ（０，ｙ）＝０，φ
（１，ｙ）＝０，φ（ｘ，０）＝０，φ（ｘ，１）＝ｓｉｎ（πｘ），定义区间［０，１］×［０，１］，方程解析解φ
（ｘ，ｙ）＝１ｅπ
－ｅ
－π
ｓｉｎ（πｘ）（ｅπｙ－ｅ－π
ｙ
）图６ 算例２解析解和神经网络训练解图（ａ）真实模型图；（ｂ）神经网络训练模型
３
内蒙古科技大学学报２０２１年３月 第４０卷第１
期
图７ 算例２解析解和神经网络训练解绝对误差图
算例３：考察二阶偏微分方程
２
φ
ｘ２＋ ２
φ ｙ２－ｅ－ｘ（ｘ－２＋ｙ３
＋６ｙ）＝０ 边界条件：
φ（０，ｙ）＝ｙ３，φ
（１，ｙ）＝（１＋ｙ３）ｅ－１
，φ（ｘ，０）＝ｘｅ－ｘ，φ（ｘ，１）＝（１＋ｘ）ｅ－ｘ
，求解范围［０，１］×［０，１］，方程解析解
φ
（ｘ，ｙ）＝ｅ－ｘ（ｘ＋ｙ３）
图８ 算例３解析解和神经网络训练解图（ａ）真实模型图；（ｂ）
神经网络训练模型
图９ 算例３解析解和神经网络训练解绝对误差图
算例４考察二阶偏微分方程：
－（ ２φ
ｘ２＋ ２
φ ｙ２）＋１１＋ｙ φ
ｙ＝ｆ（ｘ，ｙ）其中：
ｆ（ｘ，ｙ）＝（１１＋ｙ－２
）ｅｙ－ｘ
边界条件：
φ
（０，ｙ）＝ｅｙ＋２－１（１＋ｙ）２
φ
炫耀英语
（１，ｙ）＝ｅｙ－１＋２－１（１＋ｙ）２
i am me once more
φ（ｘ，０）＝ｅ－ｘ＋２－１，φ（ｘ，１）＝ｅ１－ｘ＋２求解范围［０，１］×［０，１］，方程解析解为：φ
（ｘ，ｙ）＝ｅｙ－ｘ＋２－１（１＋ｙ）
２图１０ 算例４解析解和神经网络训练解（ａ）真实模型图；（ｂ）
神经网络训练模型
图１１ 算例４解析解和神经网络训练解绝对误差图
４ 结论
采用神经网络方法对偏微分方程的求解提供了１种通用的解决方案 基于神经网络的方法与传统数值方法相比优势在于良好的泛化性以及高效的求解效率 通过４个算例充分说明神经网络方法能够精确的逼近微分方程的真实解 方法为微分方程的求解提供了新的解决方案 此外，将继续针对边界梯度较大的微分方程研究基于神经网络的求解方
metricton法
４
刘文慧，等：基于人工神经网络的偏微分方程求解方法
参考文献：
［１］ ＨＡＩＲＥＲＥ，ＷＡＮＮＥＲＧ．ＳｏｌｖｉｎｇｏｒｄｉｎａｒｙｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎｓＩＩ［Ｊ］．ＢｕｌｌｅｔｉｎＤｅｓｅｎｃｅｓＭａｔｈｅｍａｔｉｑｕｅｓ，
１９８０，１３７（２）：１８９．
［２］ 李荣华．偏微分方程数值解法［Ｍ］．２版．北京：高等教育出版社，２０１０．２９．
［３］ 王心宇，马良，蔡瑞．基于卷积神经网络的图像识别［Ｊ］．工程技术研究，２０１８（４）：１０１．
［４］ 侯一民，李永平．基于卷积神经网络的孤立词语音识别［Ｊ］．计算机工程与设计，２０１９，４０（６）：１７５１．
［５］ 王芝辉，王晓东．基于神经网络的文本分类方法研究［Ｊ］．计算机工程，２０２０，４６（３）：１１．
［６］ 李国庆，刘钊，金国彬，等．基于随机分布式嵌入框架及ＢＰ神经网络的超短期电力负荷预测［Ｊ］．电网技
术，２０２０，４４（２）：４３７．
［７］ 刘方，徐龙，马晓迅．ＢＰ神经网络的发展及其在化学化工中的应用［Ｊ］．化工进展，２０１９，３８（６）：２５５９．
［８］ 杨壮，武利，乔俊飞．基于ＧＭ ＲＢＦ神经网络的污水环境预测［Ｊ］．控制工程，２０１９，２６（９）：１７２８．［９］ ＬＡＧＡＲＩＳＩＥ，ＬＩＫＡＳＡ．Ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｓｏｌｖｉｎｇｏｒｄｉｎａｒｙａｎｄｐａｒｔｉａｌｄｉｆｆｅｒｎｔｉａｌｅｑｕａｔｉｏｎｓ［Ｊ］．
ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，１９９８，９（５）：
９８７．
［１０］ ＪＩＡＮＹＵＡＬ，ＳＩＷＥＩＡＬ，ＹＩＮＧＪＩＡＮＡＱ，ｅｔａｌ．Ｎｕ ｍｅｒｉｃａｌｓｏｌｕｔｉｏｎｏｆｅｌｌｉｐｔｉｃｐａｒｔｉａｌｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎｕ
ｓｉｎｇｒａｄｉａｌｂａｓｉｓｆｕｎｃｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．Ｎｅｕｒａｌ
Ｎｅｔｗｏｒｋｓ，２００３，１６（５ ６）：７２９．
［１１］ ＮＥＪＡＤＨＣ，ＦＡＲＳＨＡＤＭ，ＫＨＡＹＡＴＯ，ｅｔａｌ．Ｐｅｒ ｆｏｒｍａｎｃｅｖｅｒｉｆｉｃａｔｉｏｎｏｆａｆｕｚｚｙｗａｖｅｌｅｔｎｅｕｒａｌｎｅｔｗｏｒｋｉｎ
ｔｈｅｆｉｒｓｔｏｒｄｅｒｐａｒｔｉａｌｄｅｒｉｖａｔｉｖｅａｐｐｒｏｘｉｍａｔｉｏｎｏｆｎｏｎｌｉｎ
ｅａｒｆｕｎｃｔｉｏｎｓ［Ｊ］．ＮｅｕｒａｌＰｒｏｃｅｓｓｉｎｇＬｅｔｔｅｒｓ，２０１６，４３
（１）：２１９．
［１２］ ＴＡＮＬＳ，ＺＡＩＮＵＤＤＤＩＮＺ，ＯＮＧＰ．Ｗａｖｅｌｅｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｂａｓｅｄｓｏｌｕｔｉｏｎｓｆｏｒｅｌｌｉｐｔｉｃｐａｒｔｉａｌｄｉｆｆｅｒｅｎｔｉａｌｅ
ｑｕａｔｉｏｎｓｗｉｔｈｉｍｐｒｏｖｅｄｂｕｔｔｅｒｆｌｙｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍ
ｔｒａｉｎｉｎｇ［Ｊ］．ＡｐｐｌｉｅｄＳｏｆｔＣｏｍｐｕｔｉｎｇ，２０２０，９（９５）：
l开头的英文名１０６．
（责任编辑：李波）
Ｓｏｌｖｉｎｇｐａｒｔｉａｌｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎｂａｓｅｄｏｎ全球中文成人
ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ
ＬＩＵＷｅｎｈｕｉ１，ＳＨＩＬｉｎ２，ＧＵＯＹｏｎｇ２，ＹＵＡＮＤｏｎｇｆａｎｇ２
（１．ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＳｃｈｏｏｌ，ＩｎｎｅｒＭｏｎｇｏｌｉａＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｂａｏｔｏｕ０１４０１０，Ｃｈｉｎａ；２．ＳｃｉｅｎｃｅＳｃｈｏｏｌ，ＩｎｎｅｒＭｏｎｇｏｌｉａＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｂａｏｔｏｕ０１４０１０，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｎｕｍｅｒｉｃａｌｍｅｔｈｏｄｓｆｏｒｓｏｌｖｉｎｇｖａｒｉｏｕｓｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎｓ，ｔｈｅｔｒａｄｉｔｉｏｎａｌｎｕｍｅｒｉｃａｌｍｅｔｈｏｄｓｈａｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｃａｌｃｕｌａｔｉｏｎｓｔｏｒａｇｅａｎｄｃａｌｃｕｌａｔｉｏｎｔｉｍｅｉｎｃｒｅａｓｅｓｈａｒｐｌｙｗｉｔｈｔｈｅｉｎｃｒｅａｓｅｏｆｔｈｅｄｉｍｅｎｓｉｏｎｏｆｔｈｅｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎ，ｗｈｉｃｈｓｅｒｉ ｏｕｓｌｙｒｅｓｔｒｉｃｔｓｔｈｅｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌｉｔｙｐｒｏｂｌｅｍｓｏｌｖｉｎｇ．Ｈｅｒｅｉｎ，ａｎｅｕｒａｌｎｅｔｗｏｒｋｍｅｔｈｏｄｗａｓｐｒｏｐｏｓｅｄｆｏｒｓｏｌｖｉｎｇｐａｒｔｉａｌｄｉｆｆｅｒｅｎｔｉａｌｅ ｑｕａｔｉｏｎｓ．Ｔｈｅｎｕｍｅｒｉｃａｌｅｘａｍｐｌｅｓｈｏｗｓｔｈａｔｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｍｅｔｈｏｄｈａｓｔｈｅａｄｖａｎｔａｇｅｓｏｆｈｉｇｈｅｆｆｉｃｉｅｎｃｙａｎｄｇｏｏｄｇｅｎｅｒａｌｉｚａｔｉｏｎｉｎｓｏｌｖｉｎｇｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎｓ，ｐｒｏｖｉｄｉｎｇａｎｅｆｆｅｃｔｉｖｅｎｅｗｗａｙｆｏｒｓｏｌｖｉｎｇｐａｒｔｉａｌｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎｓ．
Ｋｅｙｗｏｒｄｓ：ｄｉｆｆｅｒｅｎｔｉａｌｅｑｕａｔｉｏｎ；ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｎｕｍｅｒｉｃａｌｍｅｔｈｏｄｓ；ｌｏｓｓｆｕｎｃｔｉｏｎ
５
