2021年6月电工技术学报Vol.36 No. 11 第36卷第11期TRANSACTIONS OF CHINA ELECTROTECHNICAL SOCIETY Jun. 2021 DOI: 10.s.200437
基于改进深度残差收缩网络的电力系统
暂态稳定评估
卢锦玲郭鲁豫
（华北电力大学电气与电子工程学院保定 071003）
摘要针对电力系统暂态稳定评估中，电力系统同步相量测量装置（PMU）量测数据在采集和传输过程可能存在噪声问题，以及由于暂态稳定与失稳样本不平衡，导致基于数据驱动的暂态稳定评估模型训练的倾向性和误判后果严重问题，提出基于改进深度残差收缩网络（IDRSN）的电力系统暂态稳定评估方法。首先将底层量测电气量构建成特征图形式作为模型输入，利用模型深层结构建立输入与稳定结果之间的映射关系。面对噪声问题，模型通过注意力机制，采用软阈值函数自动学习噪声阈值，减小噪声及无关特征干扰；并通过焦点损失函数（FL），引入权重系数修正模型训练的倾向性，利用调制因子重点关注误分类样本，提高模型训练效率和评估性能。通过新英格兰10机39节点系统进行仿真分析，所提模型能够有效减小不同程度的噪声干扰，在不平衡数据集上修正模型训练偏向性，以减少误分类样本，在不同PMU配置方案下，均取得较好评估效果。
关键词：电力系统暂态稳定评估深度学习深度残差收缩网络焦点损失函数
中图分类号：TM712
Power System Transient Stability Asssment Bad on
Improved Deep Residual Shrinkage Network
Lu Jinling Guo Luyu
（School of Electrical and Electronic Engineering North China Electric Power University
Baoding 071003 China）
Abstract In power system transient stability asssment, the measurement data of power system synchronous phasor measurement unit (PMU) may exist noi problems during acquisition and transmission process, and the transient stability and instability samples are imbalanced, resulting in the tendency of data-driven transient stability asssment model training and rious misjudgment problems.
This paper propos a power system transient stability asssment method bad on improved deep residual shrinkage networks (IDRSN). First, the bottom-level measured electrical quantity is constructed as a feature map as the input of model, and the deep structure of model is ud to establish the mapping relationship between the input and the stable result. Faced with noi problems, the model us the attention mechanism to automatically learn the noi threshold through a soft threshold function to reduce noi and irrelevant feature interference; and through focus loss function (FL), the weight coefficient is introduced to correct the tendency of model training. Modulation factors is ud to focus on misclassified samples to improve model training efficiency and evaluation performance. Through the simulation verification of the New England 10-machine 39-node system, the propod model can effectively reduce the noi interference of different degrees, correct the bias of the model training on
收稿日期 2020-05-05 改稿日期 2020-08-05
2234 电工技术学报 2021年6月
the imbalanced data t, and reduce the misclassified samples. Under different PMU configuration schemes, all are obtained better evaluation effect.
Keywords：Power system, transient stability asssment, deep learning, deep residual shrinkage network, focal loss
0引言
电力系统暂态稳定是指系统受到大扰动之后能否保持同步稳定的能力[1]。随着智能电网建设不断发展，新能源、高压直流输电的不断加入，使得电力系统结构及其动态特性更加复杂[2]，相应地增加了面对故障时对系统进行稳定分析与控制的难度。因此，快速、准确地掌握暂态态势，实现电力系统暂态评估，具有重要意义。
传统电力系统暂态稳定分析方法主要有时域仿真法和直接法[3-5]。时域仿真法，模型构建较为精细，计算结果准确，但是耗时长，随着电网规模增大，计算速度受到制约，难以在线应用；直接法，计算速度快，但是所用简化模型，使得结果偏保守。
随着同步相量量测技术的不断发展，广域测量信息系统（Wide Area Measurement System, WAMS）不断完善，为电网运行监测提供大量实时数据，机器学习算法利用其稳态及暂态期间的数据与稳定结果，构造输入特征与输出之间的映射关系，无需对系统建模，就能实现暂态稳定评估，从而受到研究人员广泛关注，相应研究工作主要包括人工神经网络[6-9]（Artificial Neural Network, ANN）、支持向量机[10-15]（Support Vector Machine, SVM）、决策树[16-17]（Decision Tree, DT）和集成学习[18-
22]（Enmble Learning, EL）等机器学习算法，传统机器学习算法对相量测量装置（Phasor Measurement Unit, PMU）采集到的生数据，特征提取能力弱，需要依靠人工提取特征，耗时耗力，且难免存在人工提取的特征不能完全表征系统特性的问题。
近年来，深度学习发展迅速，理论算法应用方面进步显著，其善于从原始数据中挖掘隐藏规律，被广泛应用于图像识别、视觉计算和自然语言处理等多个领域，在电力系统负荷识别[23]、状态检测[24]和暂态稳定评估等多个方向也是热点研究[25]，其中暂态稳定评估常用方法有深度置信网络[26-28]、卷积神经网络[29-32]、自动编码器[33-35]和生成对抗网络[36]等，其中卷积神经网络利用卷积运算能够有效提取数据集特征，备受关注，被广泛应用于各个领域。
电力系统本身是一个高维非线性的系统，若要对其量测数据挖掘本质规律，需要构造较深层次的神经网络，随着电网规模的不断扩大，所需要的深度学习评估模型也不断加深，较深层次的神经网络会出现训练困难；PMU装置传输信息时可能存在部分噪声，影响模型判断能力；电力系统中失稳样本数量少于稳定样本数量，数据集存在天然不平衡，模型训练会有偏向性，若不加控制措施，模型训练会偏向稳定样本，更容易判定为稳定，若失稳样本误判为稳定，系统将会失去稳定，甚至解列，造成巨大的损失。本文结合电力系统暂态稳定评估的特点，提出基于改进深度残差收缩网络的电力系统暂态稳定评估方法。采用深度残差收缩网络能够巧妙地减轻深层网络训练负担，在残差单元中引入收缩模块克服噪声干扰，利用焦点损失函数，解决电力系统暂态稳定与失稳数据集不平衡情况，并为误分类样
本设置更多关注，以减少误分类情况。最后通过仿真验证所提方法在暂态稳定评估方面的有效性。
1算法介绍
深度残差收缩网络[37]（Deep Residual Shrinkage Networks，DRSN）是2019年发表在国际期刊IEEE Transactions on Industrial Informatics上的一种人工智能方法。从本质上讲，深度残差收缩网络为解决故障诊断噪声问题，将注意力机制和软阈值函数引入深度残差网络[38]，在深度残差网络的内部实现了自动软阈值化，自适应地在特征学习的过程中消除冗余信息，提高有用特征的学习效果。本文所提模型将焦点损失函数（Focal Loss, FL）[39]引入DRSN 中，改善数据不平衡引起的训练问题，关注误分类样本，最终形成改进深度残差收缩网络（Improved Deep Residual Shrinkage Networks, IDRSN）。
1.1深度残差收缩网络结构
深度残差收缩网络是深度残差网络的变体，深度残差网络ResNet[38]是由何凯明团队2015年提出的一种改进型卷积神经网络，其通过引入恒等路径，降低模型训练难度，解决神经网络深层结构容易出现的梯度消失或爆炸问题。卷积网络层与层之间存在交叉熵损失梯度，在恒等路径的作用下，深层结构能够链接距离输入层“更近”、“更早”的神经网
第36卷第11期
卢锦玲等 基于改进深度残差收缩网络的电力系统暂态稳定评估 2235
络层，使梯度参数有效传递与更新，网络参数的训练难度大幅降低，从而容易训练出效果好的深度学习模型。
深度残差收缩网络，整体结构包括输入层，卷积层[40]（Convolutional layer, Conv ）
，多个残差收缩单元（Residual Shrinkage Building Units ，RSBUs ）、批标准化层[41]（Batch Normalization, BN ）、激活函数（Rectifier Linear Unit ，ReLU ）、全局平均池化层（Global Average Pooling ，GAP ）和输出全连接层（Fully Connected layer ，FC ），如图1所示，
图1 深度残差网络结构
Fig.1 Deep residual network structure diagram
卷积层Conv ，是卷积网络不同于传统全连接神经网络的关键元素。卷积层极大地减少了所需训练的参数量。通过卷积运算代替矩阵乘法，卷积层内核所需参数比全连接网络的变换矩阵更少，从而降低模型过拟合风险，卷积层的运算可表示为
j
j i
ij j i M k b ∈=
∗+∑y X
（1）
式中，X i 为特征图X 第i 个通道的输入；y j 为特征图的第j 个通道的输出；k ij 为卷积核；b j 为偏置；M j 为用于计算输出特征图的第j 通道的集合。
批标准化层BN ，在机器学习理论中，规范化是数据预处理的一个步骤，其目的在于尽可能地缩小样
本数据及各维度特征的差异。传统数据预处理只能保证输入层数据具有较好的规范化特性，经过权值、偏置、激活函数一系列计算之后，无法保证隐藏层数据的规范化。批标准化层
BN 是在隐藏层之前对数据进行批标准化处理，保证隐藏层获取规范化数据，加速网络优化。BN 算法实现步骤：①计算该批次数据的均值、方差；②用方差做分母，对批数据进行正态分布处理；③取值范围限制在（0,1）。
激活函数ReLU ，每个神经元计算最后步骤都是通过激活函数转换权值和偏置的计算结果，其输
入输出都是一个实数。激活函数能够将神经元的输出值限定在一定范围内，不至于出现无限大，并且使神经元具有非线性计算能力，从而使神经网络能够处理非线性问题。传统的激活函数sigmoid 容易出现梯度消失问题。针对以上问题，本文采用ReLU 函数，表达式为
()()max ,0f s s =
（2）
在变量s ≤0时，导数固定为0；s ＞0，导数固定为1，解决激活函数容易出现梯度消失的问题。
全局平均池化层GAP ，在全连接输出层之前，是计算每个特征通道平均值的运算，其作用在于进行特征压缩，提取主要特征，减少权重个数，简化网络计算复杂度，防止模型过拟合，有一定的抗干扰能力。
输出全连接层FC ，通过sigmoid 函数将前一
层传递来的数据x ，转换成概率，()ˆ0,1y
∈用于分类，ˆy
默认阈值为0.5，小于0.5标签为0，否则标签为1。
1
ˆ1e x
y
−=+ （3）
1.2 残差收缩单元
残差收缩单元是在残差单元基础上，将软阈值函数引入层与层链接的路径中，并利用注意力机制
自动确定阈值，从而达到自动提取重要特征的效果。 1.2.1 软阈值函数（soft thresholding ）
软阈值函数在信号去噪领域应用广泛，运作机制为：卷积神经网络自动进行滤波器学习，将原始数据映射到另一空间，进行软阈值化处理，软阈值化是将阈值区间[-τ，τ]内的特征置为0，让距0较远的特征x 向0进行收缩。软阈值函数及其导数如图2所示，软阈值公式为
0 x x y x x x ττ
ττττ−⎧⎪
=−⎨⎪+−⎩
＞≤≤＜ （4）
图2 软阈值函数及其导数
Fig.2 Soft threshold function and its derivative graph
2236
电 工 技 术 学 报 2021年6月
1 0 1 x y x x x ττττ
⎧∂⎪
=−⎨∂⎪
−⎩＞≤≤＜ （5）
因为τ是可以通过自动学习得到的参数，所以软阈值化，可以将任意区间的特征置为零，能够灵活删除某个取值范围的特征，更好地表征非线性映射。 1.2.2 注意力机制
在深度残差收缩网络中，样本具有不同的阈值，这是一种注意力机制：从所有输入信息中找到需要重点关注的部分，并且从中挖掘重要特征，剔除不重要甚至无关的特征。虽然通过恒等路径，高层特征中会存在不重要特征，但是通过模块的深度堆叠，不重要特征所占比重会逐渐降低，直至消失。
残差收缩单元，根据通道间阈值是否共享，分为阈值独立型残差收缩单元（Residual Shrinkage
Building Unit with Channel-Wi thresholds, RSBU-CW ）和阈值共享型残差收缩单元（Residual Shrinkage Building Unit with Channel-Shared thresholds, RSBU-CS ）
。深度残差收缩单元如图3所示，其中C 和W 分别表示特征图的通道数和宽度。
图3 深度残差收缩单元 Fig.3 Deep residual shrinkage unit
残差单元嵌入含有软阈值处理的非线性变换层，能
够有效避免噪声干扰，而且能够利用模型深层结构自动学习阈值取值，无需专家利用专业知识针对噪声专门设计阈值。
RSBU-CW 每个通道都具有独立的阈值，特征图通过绝对值和全局平均池化降为一个一维向量，传递给一个两层的全连接网络，全连接网络第二层神经元个数等于输入特征图通道个数，其输入被缩放到（0,1）之间，缩放参数为
1
1e c
c −=
+z σ （6）
式中，z c 为第c 层神经元的特征；σc 为第c 层的缩放参数，阈值被定义为
,
,,average c c i j c i j
=⋅τσX
（7）
式中，τc 为特征图第c 通道的阈值；i 、j 、c 分别为特征图X 的宽度、高度和通道。σc 乘|X|用以获取阈值，阈值为正且不能过大，若阈值大于特征图最大绝对值，软阈值输出将会置零。
RSBU-CS 所有通道共用一组阈值，
所以式（6）、式（7）中的σc 和τc 不分通道计算，记为σ和τ。
1
1e z
σ−=
+ （8）
,,,,average i j c i j τσ=⋅X
（9）
1.3 数据不平衡处理
为解决暂态稳定数据集不平衡以及稳定误分类后果严重问题，将焦点损失函数FL 引入深度残差收缩网络中，表达式为
()()()FL 1ln 11 0 11 0t t t t t t p p p p y p p y y y γαααα⎧=−−⎪=⎪⎧=⎪⎨
−
=⎨⎩⎪
=⎧⎪=⎨⎪−=⎩⎩
（10）
式中，p 为模型预测的样本标签概率，p ∈[0,1]；y 为
样本实际标签；
t 为类别。大量的稳定样本使模型训练时，具有偏向稳定的判定倾向。神经网络训练的关键步骤就是计算损失函数值和更新梯度。因为稳
定样本数量较多，自然会导致模型更加关注稳定样本的训练情况，为了改善这种数据数量上导致的不平衡，训练时加入α
参数，调节类别权重，即为失
第36卷第11期
卢锦玲等 基于改进深度残差收缩网络的电力系统暂态稳定评估 2237
稳样本占总样本的比重，α∈[0,1]，在损失函数中设置不平衡权重，改善模型训练倾向稳定问题。
若仅设置类别训练权重，只能改善模型训练的倾向性问题，但是不能关注到模型误分类的样本，这些样本对训练模型来说比较困难。考虑到实际电力系统暂态稳定评估错误将会带来严重后果，失稳误判为稳定，紧急控制措施不能启动，将会造成系统失稳，甚至解列；稳定判定为失稳，系统将会启动一定控制装置，虽然能够增加一定的安全裕度，但是会复杂化运行维护工作。在此，引入(1-p t )γ作为调
制因子，解决大量易分类正确样本可能导致的损失函数值下降缓慢，无法收敛至最优的问题，增加对误分类样本的关注，减少误分类样本个数，从而提高分类准确度。当调制因子指数γ=0时，损失函数即为带训练权重的普通二分类交叉熵损失函数，只解决模型训练的倾向性问题；γ＞0，调制因子发挥作用，重点关注误分类情况。γ越大，对误分类样本的关注越多。
2 暂态评估模型
2.1 样本集构造
本文旨在训练一种端对端的评估模型，将电力系统中PMU 装置直接采集到的电气量作为模型输入，并结合三段式特征选择原则，将全系统各节点，故障前t 0，故障瞬间t f 和故障切除时刻t c 的电压幅值U 和相角θ作为模型特征量输入，构造出三维数据分布，如图4所示，与图结构的长度、宽度和通道类似，有利于卷积模块提取特征。
图4 输入特征图 Fig.4 Input feature map
模型输出为功角稳定结果，稳定判据μ为
max 360μδ=°−Δ
（11）
式中，max δΔ为仿真期间任意两个发电机的最大相对功角差。μ＞0，表示系统稳定，标签为0；μ＜0，系统失稳，标签为1。 2.2 评估指标
电力系统暂态稳定评估是二分类问题，而且样
本集存在不平衡和误判代价不同现象。本文兼顾模型分类精度、不平衡样本集和误判代价不同三个方面，选择准确率ACC 、G-mean 值，f1失稳评估综合指标以及综合分类指标（Comprehensive Asssment
Index, CAI ）作为评估指标。表1为暂态稳定分类的混淆矩阵。
表1 混淆矩阵 Tab.1 Confusion matrix
评估
真实
稳定
失稳
稳定 TS n FS n 失稳
FU n
TU n
TS TU
TS TU FS FU
ACC=
n n n n n n ++++
（12）
（13）
TU TU
TU FS TU FU
TU TU
TU FS TU FU
2f1=n n n n n n n n n n n n ×
⋅
+++
++
（14）
()ACC+G-mean CAI 2
=
（15）
式中，TS n 为正确评估为稳定的样本数；TU n 为正确评估为失稳的样本数；FS n 为错误预测为稳定的样本数；FU n 错误预测为失稳的样本数；ACC 为评估总
准确率；
G-mean 值是稳定判准率和失稳判准率的几何平均值，是不平衡数据集上评估模型的重要指标；
f1指标是针对失稳样本判准率和查全率的调和平均，是重点关注失稳样本的重要指标；综合评价指标
CAI ，为ACC 和G-mean 值的加权平均，综合考虑不平衡数据集下的分类效果。
2.3 暂态稳定评估模型结构设计及评估流程
根据电力系统所提取数据的特征，本文所设计的IDRSN 模型总体结构包括卷积层Conv 、残差收缩单元RSBUs 、批标准化BN 、激活函数ReLU 、全局池化层GAP 和全连接输出层FC 。残差收缩单元
包括1个RSBU-CW ，
2个RSBU-CS 。其中，RSBU-CW 采用不同阈值收缩不同通道噪声相关的特征，相比RSBU-CS 只有一组阈值，
RSBU-CW 更加准确灵活，但是所需参数量大；而RSBU-CS ，减少了神经网络需要训练的参数个数，大大降低了训练负担，本文兼顾准确性和训练情况，在总模型中组合两种
