面部表情作为人表现情感的主要方式之一，在过去的几十年里，关于各种表情识别的研究已经取得重要的进展[1-6]。这几年，关于自发式的表情（spontaneous expression）的识别成为了新的研究热点[7-8]，而微表情往往是在人想压抑自己感情时产生的，这既无法伪造也无法抑制[9]。完整的面部表情通常持续0.5~4s[10]，比较容易被人识别。然而，心理学认为，当一个人试图隐藏自己真实情感时，偶尔会有情感泄露出来。微表情首次发现于1966年[11]。三年后，Ekman等人[12]在分析一段试图自杀的病人的采访视频时使用了微表情这个词。微表情通常在1/25~1/2s[13]之间不受控制地变化，并且出现频率较低，未经过训练的个体对其识别能力并不高[14]。而不同的研究者报告的结果也存在着较大的差异[15-16]。在这之后，Ekman和Frien于1979年提出了短暂表情识别测验（Brief Affect Recognition Test，BART）[17]。在后续的实验中他们发现了被试者的微表情识别能力与谎言识别能力成正相关[18]。之后，进行了日本人与高加索人短暂表情识别测验（Japane and Caucasian Brief Affect Recognition Test，JACBART）[19-20]，该实验也验证了被试者的微表情识别能力与谎言识别能力成正相
微表情识别研究综述
张人1，何宁2
1.北京联合大学北京市信息服务工程重点实验室，北京100101
2.北京联合大学智慧城市学院，北京100101
摘要：微表情是人类在试图掩饰自己情感时所产生的面部细微变化，在测谎、安防、心理学治疗和微表情识别机器人等方面有着非常广泛的应用，因此微表情识别也开始得到重视。从微表情识别的主流的方法：卷积神经网络及其改进、光流法及其改进、局部二值模式及其改进方法进行分析，对现存的几种方法从使用的算法、准确率、各方法的优缺点、各方法的特点等几个角度进行对比总结；阐述微表情识别目前存在的问题，并对未来的发展方向进行展望。关键词：微表情识别；卷积神经网络（CNN）；LBP-TOP算法；光流法；计算机视觉
文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2007-0401
A Survey of Micro-Expression Recognition Methods
ZHANG Ren1,HE Ning2
1.Beijing Key Laboratory of Information Service Engineering,Beijing Union University,Beijing100101,China
2.Smart City College,Beijing Union University,Beijing100101,China
Abstract：Micro-expression is a subtle change of human face when trying to cover up their emotions.It is widely ud in
lie-detect,curity,psychological therapy,micro-expression recognition robot and so on.Therefore,micro-expression recognition has been paid more attention.This paper analyzes the main methods of micro-expression recognition：convolution neural network and its improvement,optical flow method and its improvement,local binary pattern and its improved methods.The existing methods are compared and summarized from the algorithms,the accuracy,the advantages and disadvantages of each method,and the characteristics of various methods.Finally,the existing problems of micro-expression recognition are discusd,and the future development direction is prospected.
Key words：micro-expression recognition;Convolutional Neural Networks（CNN）;Local Binary Patterns from Three Orthogonal Planes（LBP-TOP）;optical flow;computer vision
基金项目：国家自然科学基金（61872042，61572077）；北京市教委科技重点项目（KZ201911417048）；北京联合大学人才强校优选计划（BPHR2020AZ01，BPHR2020EZ01）；“十三五”时期北京市属高校高水平教授队伍建设支持计划（CIT&TCD 201704069）；北京联合大学研究生科研创新资助项目（YZ2020K001）。
作者简介：张人（1996—），男，硕士研究生，研究领域为数字图像处理；何宁（1970—），通信作者，女，博士，教授，硕士生导师，研究领域为数字图像处理，E-mail：*****************。
收稿日期：2020-07-24修回日期：2020-10-20文章编号：1002-8331（2021）01-0038-10
关[21]，可以证明微表情能有效的帮助人们识别谎言。lcross>be interested in
人脸的微表情识别涉及图像处理和分析、计算机视觉、人工智能、心理学、生物学等方向。Ekman等人[15]在2002年开发出微表情识别的工具——METT（Micro Expression Training Tool）。研究表明，METT工具平均可以提高个体对于微表情识别能力的30%~40%。此外，还设计了面部动作编码系统（Facial Action Coding System，FACS）[22]，根据人脸的解剖学特点，将其划分成若干既相互独立又相互联系的运动单元（Action Unit，AU），并分析了这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，并给出了大量的照片说明。尽管人类的情绪复杂多样，但仍可分成6个基本情绪类别[23-24]，因此研究人员将不同的运动单元组合编码形成FACS码来对应不同的表情，主要分为开心、愤怒、恐惧、悲伤、惊讶和其他。当人们在表达内心状态和心理需求时，就会产生大量面部表情[25]，但由于微表情存在的时间过短，不容易被人眼所察觉，因此可使用计算机来解决这个问题。
1微表情识别相关技术
微表情是人面部微小的动作变化，其中包括纹理变化。微表情的动作太过微小且持续时间短，不容易被人眼所捕捉，因此可以借助机器视觉的方法对面部的微表情进行研究。根据以上的特点，微表情识别的几种主流的方法有，卷积神经网络（Convolutional Neural Networks，CNN）[26]、光流（Optical Flow）法、以及局部二值模式（Local Binary Pattern，LBP）[27]。
1.1卷积神经网络
卷积神经网络（Convolutional Neural Networks，CNN）[26]自诞生以来在机器视觉、语音识别等各个领域广泛应用。通常CNN被用作对图像类输入的特征提取和深度特征提取，在对提取的特征进行分析后可以得到所需的输出结果。微表情的特点是面部运动比较微小，若使用卷积神经网络通常需要使用其他辅助方法更改网络的输入，或更改优化网络结构，使网络能提取到更有用的特征，从而提高对微表情识别的准确率。
1.2光流法
光流（Optical Flow）是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法有几个假设条件：首先要亮度恒定，一个像素点随着时间的变化，其亮度值（像素灰度值）是恒定不变的。其次是
小幅度运动，时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化进行光流特征提取。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。微表情具有面部动作较为微小，不易察觉的特点，因此光流法作为检测微小运动的常用方法，对微表情的面部动作识别有很大优势。在检测到面部微表情的运动信息后，配合其他方法可对微表情进行有效的识别。
1.3局部二值模式及其改进方法
局部二值模式（Local Binary Pattern，LBP）[27]可以有效地处理光照变化，在纹理分析、纹理识别等方面被广泛应用，具有灰度不变性和旋转不变性等显著优点。中心像素的LBP值反映了该像素周围区域的纹理信息，如图1所示。由于该特征具有简单易算性，因此得到了广泛的使用。
对于视频图像来说，传统的LBP算法无法应用于视频信号，因此，需要对LBP算法进行一些改进。其中Zhao等[28]提出了一种鲁棒的动态纹理描述子，对3个正交平面进行局部二进制模式（Local Binary Patterns from Three Orthogonal Planes，LBP-TOP），已广泛应用于面部表情。为了同时考虑视频的空间和时间信息，LBP-TOP扩展了LBP。相比LBP，此方法考虑了3种类型的平面(XY、XT、YT)而不是一个平面（空间XY）。给定一个视频序列，可以将其分别看作沿时间T轴、空间Y轴和空间X轴的
XY、XT和YT平面的堆栈。分别从三种类型的平面导出3个直方图，并连接成一个直方图作为动态视频纹理描述符，如图2所示[28]。
LBP-TOP将LBP算法的应用扩展到更高维度，可识别时序上的面部纹理，通过此方法关联前后帧之间的信息，使LBP算法应用的更加广泛。LBP-TOP包含LBP的性质，如在像素值集体增大或减小相同数值时对LBP-TOP没有影响，对于自然平行光的环境对图像产生的干扰可以忽略，因此这种方法应用到现实生活中的时候鲁棒性较高。但这种方法是基于像素的，因此会增
（00111010）=58
101招聘信息英文
01
001
253560
454690
883255
图1LBP 算法描述
T
X
Y
XY
cips
XT
YT
图2LBP-TOP特征提取
加提取特征的维度。LBP最初的应用是中心点像素与半径为R的邻域的P个像素点进行对比，所产生的
维度是2P，因此R为1时中心像素点和邻域8个像素点所产生的维度是28=256。而在随后的发展中，邻域半径R 的不再是1，维度也呈指数增长，为了解决这一问题，Ojala等[27]提出了采用一种“等价模式”（Uniform Pattern）来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。这种方法使原始的256种减少为58种，即它把值分为59类，58个uniform pattern为一类，其他的所有值为第59类。因此，这种方法将维度由原来的2P变为P(P-1)+2，直方图从原来的256维变成59维。这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。而LBP-TOP是LBP在时间维度的应用，因此维度为3×59，而在计算时，通常会将一幅图像分为4×4的blocks，每个block都会生成一个59×3的数组，最后生成的特征的维数是4×4×59×3=2832，由此可见，LBP-TOP 是一种高维特征，这对计算速度有着严重的影响，并且影响准确率。
2微表情识别方法
2.1基于CNN对微表情识别的方法
CNN是在处理图像信号时常用的方法，但由于微表情变化较为微小，仅使用CNN效果并不是很好，因此一些文献选择对输入的图像进行处理。传统的微表情特征提取既需要考虑空间上的图像特征，也需
要考虑时间上的时序序列，一般都会对微表情从开始到结束的所有帧进行特征提取，而Liong等[29]提出了微表情阶段分类器。首先利用时间信息将微表情分为起始、高峰、偏移三个阶段，之后利用空间信息检测强度变化。对比传统的微表情特征提取方法，此方法仅用一段微表情的峰值（Apex）帧与初始（Ont）帧提取特征，增加了有效帧的数量，减少了计算量，并且效果超过了其他传统方法。除此之外，刘汝涵等[30]提出一种基于眼部干扰消除的视频放大方法，并利用卷积神经网络实现微表情识别任务。首先将数据放大，提取其中的眼部位置坐标。之后将使用原始眼部视频替换到放大视频中进行图像融合，以实现对眼部干扰的消除。最后使用VGG16的思想设计卷积神经网络模型网络，实现对情绪的识别。文中所应用的局部放大技术在减少噪声干扰后可以将微表情动作放大，使肉眼都可看出运动的趋势，可增加CNN网络对微表情识别的准确率。这两种方法从不同的角度对输入的图像进行处理，使CNN网络能够更好
的提取特征，提高识别的准确率。
而另一些文献则选择改变网络结构，从而提高网络对微表情识别的准确率。Peng等[31]提出双时间尺度卷积神经网络（Dual Temporal Scale Convolutional Neu-ral Network，DTSCNN）。DTSCNN是一个双流网络，采用不同的DTSCNN流来适应不同帧速率的微表情视频片段。他们将Slow Fusion模型和C3D工具结合在一起以进行微表情识别。DTSCNN是由DTSCNN64和DTSCNN128组成的两流卷积网络。在这个网络中每一个流都由独立的浅层网络组成，可以有效避免过拟合问题。网络的不同流的
设计可以适应不同的帧速率，这可以使整个网络对输入数据的帧速率具有鲁棒性。而赖振意等[32]提出了结合空洞卷积对微表情进行识别。结合空洞卷积核及人脸自动校正算法，完善CNN网络特征提取过程，通过自动人脸矫正适应实际应用中的实时识别分类。文中空洞卷积的优势在于弥补了池化过程当中丢失信息的缺陷，可以提升网络精度。目前微表情识别的网络结构多为维卷积神经网络，而梁正友等[33]提出了一种用于微表情识别的三维卷积神经网络进化（Three-Dimensional Convolutional Neural Network Evolution，C3DEvol）的方法。这种方法能有效提取微表情在时间域和空间域上的特征，其采用的全局搜索和优化能力的遗传算法对C3D的网络结构进行优化，获取最好的C3D网络结构和避免局部优化。以上方法在对网络结构进行更改优化后，可提高网络对微表情识别的准确率。
目前基于CNN对微表情特征提取大多都与光流方法提取相结合，这也是CNN框架的优点之一。但若使用CNN进行深度学习，对于目前的数据集来说仍然无法实现，在现存的几个数据集中所拥有的数据量无法满足深度学习网络的需求，容易造成过拟合，这导致CNN 的巨大优势无法发挥。
2.2基于光流法对微表情识别的方法
光流可检测微小的动作变化，Li等[34]提出了一种基于深度多任务学习的微表情检测方法，研究了一种深度多任务学习方法来进行面部地标定位，并将面部区域分割成感兴趣区域（ROIS）。面部肌肉的运动会产生微表情，因此，将稳健的光流方法与HOOF（Histograms of Oriented Optical Flow）[35]特
征相结合来评估面部肌肉的运动方向。最后，采用支持向量机（SVM）作为微表情检测的分类器。FACS作为识别微表情的重要工具，需要眉毛、嘴角等各个面部位置的运动记录。这种方法将ROIS与HOOF特征共同使用，所得出的结果与AU 所对应，可对微表情较为精确的做出识别。
对于微表情检测往往是独立的，而Shreve等[36]提出了一种由宏、微表情组成的长视频人脸表情自动识别
（时间分割）方法。该方法利用表情过程中非刚性运动对面部皮肤产生的应力，用中心差分法计算每个受试者面部几个区域（下巴、嘴、脸颊、前额）观测到的强而密的光流场的应变量级。这种方法能够成功地检测和区分宏表情和快速局部的微表情，对运用在复杂场景下的微表情检测提供了巨大的帮助。
现有的识别方法在处理细微的面部位移方面往往是无效的，因为被观察的个体会不断移动。为了解决这一问题，Xu等[37]提出了一种新的面部动力学映射方法来描述微表情在不同粒度下的运动。这种算
法解决了在识别目标移动的情况下如何对微表情进行识别，这对之后微表情识别的应用有着很大的作用。
随着科技的发展和社会的需要，对于微表情识别应用于社会生活中的需求也越发迫切。光流法提取的特征主要为几何特征，因此特征维度并不算高，可以作为实时微表情检测的重要方法。其本身对于亮度较为敏感，当亮度变化较大时，此方法就会失效，但在复杂场景中这种现象无法避免，对于光流法来说，除了提高微表情识别准确度，还要增强其泛化能力，使其能更好的应用于社会生活中。
2.3基于局部二值模式改进方法对微表情识别的方法
writeoff
LBP-TOP算法对X、Y、T三平面进行特征提取，之后引用LBP算法进行纹理分析，因此可以对视频进行识别。但LBP-TOP存在两个关键问题，会导致微表情分析的性能下降。首先，它通常从两个像素之间基于符号的差异中提取外观和运动特征，但没有考虑其他有用的信息。此外，LBP-TOP通常使用经典模式类型，但在某些应用中，这些模式类型对于局部结构可能不是最优的。因此，Huang等[38]提出了一种用于面部微表情分析的时空完整局部量化模式（STCLQP）。首先，STCLQP 提取包含符号、幅度和方向分量的3个兴趣信息。其次，在外观域和时间域对每个分量进行有效的矢量量化和码本选择，以学习用于推广经典模式类型的紧凑和有区别的码本。最后，基于区分码本，提取并融合符号、幅度和方向分量的时空特征，基于特征子空间将3个分量的特征连接成一个特征。STCLQP根据L
BP-TOP所存在的问题，增加了幅度和方向分量等信息，提取了更多有用的信息，并且最终能将提取的信息融合成一个特征向量，提高了对于图像特征的利用率。相对比LBP-TOP，STCLQP方法提取了更多的信息，因此会造成更高的维度。而文中使用了LQP[39]技术，对比随着邻域半径R增大，维度呈指数型增加的LBP，LQP采用将提取后的特征映射到查找表，当R增大时，维度不再呈现指数型增长。因此这种方法对R数值需要增加时较为适用，也因为LQP技术，缓和了一些之前提取更多维度信息所导致的高维特征。而Wang等[40]则提出了一种基于中心点上三条相交线的六交点局部二值模式（LBP-SIP）描述子，将高斯多分辨率金字塔合并到提出的方法中，并把所有金字塔层次上的模式串联起来。LBP-SIP减少了LBP-TOP模式中的冗余，提供了更紧凑和轻量级的表示，并且提高了准确性，降低了计算复杂度。与LBP-TOP不同，此方法仅采用了t时刻某一像素点的上下左右4个像素点和t-1与t+1时刻同位置的6个像素点，因其所提取的特征少，所以当图像较多、时间较长时较为适用，且运算较LBP-TOP更快。其速度是LBP-TOP的2.8倍[40]。此方法提取特征用时15.88s，比LBP-TOP方法约快2.4s，识别时间为0.208s，比LBP-TOP方法快0.3s。相比LBP-TOP方法，LBP-SIP减少了可观的时间，但对于之后实际的应用，这个时间仍然太过漫长，无法做到实时检测。但提供了一种思路减少处理的时间。除此之外，卢官明等[41]提出了一种对LBP-TOP提取的特征进行降维，之后使用SVM进行分类的方法。这种方法首先采用LBP-TOP算子来提取微表情特征，然后提出一种基于ReliefF与局部线性嵌入（Locally Linear Embedding，LLE）流形学习算法相结合的特征选择算法，可有效地降低提取后的特征维度。最后使用径向基函数（Radial Basis Function，RBF）核的SVM分类器进行分类，
得到了较好的结果。这种方法是基于LBP-TOP方法进行特征向量提取，因此所适用的环境与LBP-TOP一致。分别用过滤式（Filter）的方法排除无关的特征，之后用封装式（Wrapper）的方法筛选出影响较大的特征，避免了维度灾难，计算量也相应减少，这种方法给予未来发展方向一种启示，对于LBP-TOP这种逐像素进行特征提取的方法，可以对提取后的特征进行筛选，提高分类时识别的精确度。
对于LBP-TOP冗余的特征，以上几种方法分别采用了不同的思路进行降维，但对于实际应用到现实生活中还远远不够，逐像素提取特征的方法容易造成维度灾难，因此在识别之前对于特征和特征提取方式的选取尤为重要。只有当处理速度减少，才有机会将这类方法应用于社会生活当中。
3微表情识别方法性能分析与比较
3.1基于CNN的微表情识别方法分析比较
使用CNN进行微表情识别时，需要关注的是表情变化的状态，其中Kim等[42]提出了一种与微表情阶段分类器[29]的想法较为相似的方法，这种方法将微表情阶段分类器和LSTM相结合。首先利用卷积神经网络（CNN）对微表情在不同表情状态（起始、起始到顶点、顶点、顶点到偏移和偏移）下的空间特征进行编码。在目标函数中考虑表达状态，提高学习特征表示的表达类可分性。
然后，将学习到的具有表情状态约束的空间特征转化为学习微表情的时间特征。时间特征学习利用长-短期记忆（LSTM）递归神经网络对微表情不同状态的时间特征进行编码。
除此之外，Khor等[43]提出了一种丰富的长期递归卷积网络（Enriched Long-term Recurrent Convolutional Network，ELRCN），该网络首先通过CNN模块将每个微表情帧编码成一个特征向量，然后通过将特征向量通过长短期记忆模块（LSTM）进行预测。长短期记忆模块对于视频检测有较好的优势，利用门控制可以保留较长时间前的信息，结合之前对于面部信息的检测，可以更好地检测出表情变化。
这两种方法都想到利用LTSM网络。实验结果证明，将LSTM网络和卷积神经网络结合对视频类的微表情识别有较好的效果，如表1所示[44-45]。
3.2基于光流法的微表情识别方法分析比较
光流法配合ROI方法可以对应FACS系统检测出表情的动作变化，因此Li等[34]提出了一种与基于深度多任务学习的微表情检测方法相似的算法，这种新的微表情自动识别算法结合了用于检测面部标志点的多任务卷积网络和用于估计微表情光流特征的融合深卷积网络[46]。首先，利用深度多任务卷积网i dont want to miss a thing
路来侦测具有多重相关作业的人脸地标，并利用这些地标来分割人脸区域。之后，利用融合卷积网络从包含肌肉变化的面部区域提取微表情时的光流特征。最后利用增强光流对特征信息进行细化，并利用支持向量机分类器（SVM）对细化后的光流特征进行分类识别。基于深度多任务学习的微表情检测方法[34]使用光流法和HOOF[35]特征结合来评估面部肌肉变化，HOOF是一种基于光流的特征，该特征表示每个时刻的动作轮廓，并且与运动的尺度和方向无关。HOOF将视频中每一帧的光流与横轴夹角
进行分档，并且根据其大小进行加权，每一档就是一个bin，bin的数量是可选参数，HOOF对光流方向进行加权统计，得到光流方向信息直方图。与基于深度多任务学习的微表情检测方法[34]不同的是，检测面部标志点的多任务卷积网络和用于估计微表情光流特征的融合深卷积网络[46]在之前的检测方法的基础上进行改进，由于HOOF[35]中不同bin内的特征缺少主方向光流的比例信息，于是添加了比例P作为B max区域内的特征，其中B max是bin内最大数量的光流特征。这种方法中的光流矢量最大幅度和方向代表每个区域中肌肉变化的主要部分，并且比例P补偿了变化强度的信息。
Liu等[47]提出了一种简单有效的主方向平均光流（MDMO）特征用于微表情识别，将稳健的光流方法应用于微表情视频片段，并基于部分动作单元将面部区域划分为感兴趣区域（ROI）。MDMO是一种基于ROI的归一化统计特征，它同时考虑了局部统计运动信息和空间位置。此外，为了减少由头部运动引起的噪声影响，还提出了一种光流驱动的方法来对齐微表情视频剪辑的所有帧。最后，采用具有
MDMO特征的支持向量机分类器进行微表情识别。MDMO的一个显著特点是其特征维数小。总的来说以上几种方法采取的策略基本一致，需要从先将面部划分感兴趣区域（ROI），之后使用光流的方法分辨面部为小动作，最后使用支持向量机对所得到的特征进行分类。将面部分成不同区域，更容易使用FACS系统，让机器使用FACS进行对微表情进行判别，而光流则负责检测每一个区域内的微小动作变化，对于每部分的变化对应一个动作单元，不同运动单元的变化即可判别出表情的变化。对HOOF进行修改可以使准确率相应提高，见表2（ROI+HOOF[34]方法使用留一法（Leave-One-Subject-Out，LOSO）对数据集进行准确率测试，因此准确率会较高）。但光流法对于环境
方法CNN+LSTM[42]
彩妆的基本步骤ELRCN-SE[43] ELRCN-TE[43]
数据集
brookfieldCASME II[44]
CASME II[44]+
CASME[45]
机制
不同状态特征编
码并连接LSTM
进行识别
进行特征提取后
分别对时域和空
域进行识别
优点
提取关键帧并
配合LSTM提
高识别率
进行跨域实验
鲁棒性更高
缺点
需要大量数据，
容易过拟合
各域的识别率
不算高，容易过
拟合
局限性广州华美英语实验学校
对于数据集的
数量较为严格
无法给出统一
较高的准确率
适用场景
对于采集后图像
的分析
光线变化不大的
采集后的图像
准确率/%
60.98
47.15
goodjobs
52.44
表1CNN方法性能比较
表2局部二值模式改进方法性能比较
方法LBP-TOP[28] STLBP-IP[48] STLBP-IIP[49]
数据集
CASME II[44]
CASME II[44]
CASME II[44]
机制
对三个维度进
行LBP
对差分图像进
行横纵向积分
保留形状属性
之后进行积分
优点
可以识别视频
序列
可以识别五官
动作
进一步提高准
确率
缺点
提取特征维度
太高
不支持多尺度
引入更多数据
维度增加
局限性
处理时间长且准确
率不算高
当面部遮挡时准确
率降低
当面部遮挡时准确
率降低
适用场景
自然的平行
光环境
无遮挡的面
部表情
无遮挡的面
部表情
准确率/%
57.16
59.51
62.75
