论⽂笔记：微表情识别综述1
Micro-expression recognition: an updated review of current trends,challenges and solutions
作者：Kam Meng Goh1 · Chee How Ng · Li Li Lim · U. U. Sheikh
发表时间：2018
微表情（Micro-expression）识别近⼏年来引起了多个计算机视觉领域的极⼤兴趣，尤其是定位、运动放⼤和识别领域。ME识别的挑战来⾃于ME变化持续时间短和运动强度微弱。
安装空调
1.简介
微表情是⼈脸⾯部的微弱运动，持续时间在1/25s~1/5s之间。微表情的研究提供了在真实情感被故意掩盖和隐藏时揭⽰短暂⽽⽆意发⽣的真实情绪的能⼒。当前的研究表明，ME通常发⽣在⾼风险的情况下，实时监测具有很⾼的挑战性。与宏表情相⽐，微表情很难伪装或隐藏使得它成为测谎的有效证据。Ekman研发了微表情训练⼯具Micro-Expression Training Tool(METT)来训练微表情识别。据此，Ekman 把⼈类情感分为7中主要类别：⽣⽓、⾼兴、上⼼、厌恶、惊讶、恐惧和蔑视。另外，Ekman和Frien引⼊了⾯部动作编码系统（Facial Action Coding System ，FACS) 来根据动作单元(action units，AU )定义⾯部表情。AU是⾯部运动的可观察组件，不同的⾯部区域⽤来检测⾯部细微的的表情变化。⼀共有
44种AU独⽴或者同时发⽣来表达⼈脸表情。然⽽，由于微表情持续时间只有不到0.5且强度很低，⼈根据AU的识别精度只有40%左右。因此，亟需微表情的分辨、识别和分析系统。
使⽤计算机视觉的⽅式，微表情识别已经有许多相关研究。然⽽，对于微表情的检测与识别精度影响较⼤的环境变化、⽆意识的微弱⾯部运动以及不平衡的数据集问题⾄今并没有得到很好的解决。当前存在问题如下：
1.环境影响
退休年龄对照表
在微表情识别中最⼤的挑战就是环境变化，包括光照变化和⼈的头部姿态变化。对于光照变化，⼤多数识别特征都严重依赖于像素变化的强度，例如局部⼆值模式(Local Binary Pattern ,LBP)、光流和⽅向梯度直⽅图(Histogram of Oriented Gradient,HOG).光线变化会导致错误的特征评估，头部运动、头部姿态变化都会被误认为是微表情。微弱的头部运动会很⼤程度上影响⾯部组件的变化，最终影响检测精度。
2.⽆意识的微弱⾯部运动
⾯部⽆意识的低强度微弱运动导致裸眼⽆法分辨准确的识别情绪，是微表情识别的重要挑战。通常，分类器会把微弱的运动错误的表达为平静⾯部。因此，数据预处理阶段放⼤和增强微弱⾯部运动信号⾄关重要。
3.数据集不均衡
针对微表情识别的可⽤数据集很少，例如SMIC、CASME、CASMEII、CAS(ME)2等，这些数据集是现存的⽤于微表情识别的推荐数据集，但是其情绪类别间数据分布不均衡会导致检测结果的误差。另外，可⽤数据集往往在光照变化控制的环境下拍摄，样本对象头部基本不会有运动变化的情况。因此，使⽤这些数据集测试良好的数据集在通⽤场景中可能并不能很好的识别，亟需通⽤场景的微表情识别数据集。
本⽂贡献：
（1）提供了微表情的发现⽅法的综述。
（2）现存的识别特征分为低级特征、中级特征、⾼级特征。
（3）分析了微表情识别的性能评估⽅法流程。
（4）分析了当前微表情识别数据集的优点和不⾜。
2.介绍
2.1数据集
2.2 通⽤流程
微表情识别可以分为：图像采集、⾯部识别、预处理、微表情发现、特征提取、微表情分类。如图所⽰：
图像采集：使⽤⾼速摄像头来采集⾄关重要，因为裸眼或者低帧率的视频很难检测到⾯部组件的快速微弱运动。微表情发现和识别之前要对⾯部表情做预处理。⾸先，对采集的图像检测⼈脸并把⾯部区域从背景中分割出来，然后把⾯部映射到原型脸来削弱头部姿态变化产⽣的影响。
预处理：图像预处理来克服光线变化或者噪声的影响，然后使⽤运动放⼤技术放⼤⾯部局部感兴趣的区域。增强后的图像⽤于微表情发现、特征提取和分类。然⽽，当前微表情发现的⼯作较少，当前主流的研究是关于微表情发现后的特征选择和分类⽅法。图像或者视频中微表情发现的研究是未来的研究⽅向。
2.3数据预处理
微表情识别的数据预处理流程主要包括⾯部检测、⾯部校正、运动放⼤和时域归⼀化，⾯部校正后的⼈脸经过归⼀化以后，过滤了噪声并加强了⽤于更好提升性能的可⽤特征。相关处理⽅法包括微弱特征放⼤、时域归⼀化以及Wiener滤波或者⾼斯滤波来过滤噪声。
3.微表情表⽰的特征
⽤于微表情表征的特征是⽤于分类的特征。分为低级特征、中级特征和⾼级特征。
3.1低级特征
低级特征为从图像中直接提取出来的特征，例如强度、时域强度、梯度等。低级特征通常以描述符的形式表⽰，描述符包含⼀组没有明确语义含义/知识的可视化数据线索，主要包括局部⼆值模式(LBP)，光流，梯度，以及它们各⾃的变体。
3.2中级特征
爆炒金针菇当前存在的主要⽅法利⽤⾯部整体或者不同区域的时间和空间特征进⾏分类。然⽽，低级特征对于表达持续时间短、强度低、有噪声和头部姿态变化的微弱运动是不充分的。因此，中级特征来把低级特征整合为有更强描述能⼒的更丰富的特征。
中级特征转换低级特征为⽤于分类的图像表征，增加权重来给局部特征以明确的含义与知识。这类提取的描述符将以图像级信息的视觉词内容来表⽰，⽽不是简单的没有明确含义的视觉线索。最常见的中层技术是在情感识别中常⽤的词袋模型bag-of-words (BoW)。
⽬前存在的两个中级特征的⽅法：
最佳击球点1）He, J., Hu, J.-F., Lu, X., Zheng,W.-S.:Multi-taskmid-levelfeature learning for micro-expression recognition. Pattern Recognit. 66, 44–52 (2017)
委托培养
2）Zheng, H., Zhu, J., Yang, Z., Jin, Z.: Effective micro-expression recognition using relaxed K-SVD algorithm. Int. J. Mach. Learn. Cybern. 8(6), 2043–2049 (2017)
3.3⾼级特征
⾼级表⽰可以定义为⼀组⼈类可解释的语义数据，其中⾼级特性是⼏个低级特性的组合。例如在⾯部认证中，⼀系列信息作为⾼级特征，例如年龄、性别、肤⾊等，这些语义信息可以⽤低级特征如颜⾊或者纹理等信息中提取。低级特征⼜称为⼿⼯特征，从像素中提取，送⼊分类器中⽤于认证。另外，⾼级⽅法倾向于特征学习，也就是从原始输⼊图像中学习和理解。
当前ME的soat的⾼级表征识别⽅法主要由CNN⽅法提取。CNN从⼤量标记好的样本数据中提取特征，
低层⽤于提取低级特征，⾼层⽤于提取⾼级特征。
针对现有微表情数据集数据量少容易导致CNN模型过拟合的问题
1）模型采⽤在ImageNet数据集预训练的⽅式
2）模型在宏表情数据集如CK+上训练后，通过迁移学习的⽅式迁移到微表情数据集进⾏训练
3）针对数据量少的问题，采⽤数据扩增的⽅式进⾏数据扩充。例如样本图⽚⽔平翻转、裁剪、校正等。
另外，还可以根据结合时域插帧⽅法对微表情视频序列进⾏时间对齐，然后提取特征后进⾏分类。主要⽅法有：
1）结合时域插帧和DCNN的MER
Mayya, V., Pai, R.M., Pai, M.M.M.: Combining temporal interpolation and DCNN for faster recognition of micro-expressions in video quences. In: International Conference on dvances in Computing, Communicati
2）多时域尺度卷积神经⽹络识别⽆意识⾯部微动作。该⽅法简化了双流⽹络，模型中不同流⽤于处理不同帧率的ME视频。作者的研究结果，⽐FDM等传统⽅法精度提升10%
Peng, M., Wang, C., Chen, T., Liu, G., Fu, X.: Dual temporal scale convolutional neural network for micro-expression recognition. Front. Psychol. 8, 1745 (2017)
3）CNN+LSTM⽅法处理ME视频中的时空信息。
Kim, D.H., Baddar, W., Jang, J., Ro, Y.M.: Multi-objective bad spatio-temporal feature reprentation learning robust to expression intensity variations for facial expression recognition. IEEE Trans. Affect Comput. 66(99), 1–1 (2017)
4）深度级联peak-piloted⽹络(DPCN)，识别微弱表情。此⽅法在CK+数据集的准确率达到99.6%
怎么打包文件基于CNN⽅法的微表情识别存在的主要问题是当前⽤于微表情识别的数据量很少。
4 微表情发现
4.1 基于外观特征
主要基于像素级别的特征，尤其是特征强度值。例如通过计算LBP的距离来计算特征差作为微表情发现的特征。基于强度的特征，使⽤3D 梯度直⽅图算⼦或者⽅向梯度直⽅图。
总是口渴4.2 动态⽅法
在动态⽅法中，使⽤提取的运动变化的微弱表情⾮刚性运动变化，例如光流或者光强。或者使⽤⾯部动态图(facial dynamic map,FDM)对⾯部组件的运动建模，并基于光流进⾏像素级别的校正。
4.3 通⽤⽅法
（1）提出 micro-expression spotting benchmark (MESB)，结合多尺度滑动窗⼝进⾏微表情发现，并提供微表情发现⽅法的标准性能评估⽅法。在该⽅法中，假设微表情发现问题是⼆进制分类任务。两个评估⽅法：1）基于滑动窗⼝(是否含有微表情)量化⼆进制分类的性能 2）基于检测窗⼝的最终输出结果。评估TP、FP和缺失样本。
- Hong, X., Tran, T.-K., Zhao, G.: Micro-Expression Spotting: A Benchmark. CoRR bs/1710.02820 (2017)
英国历史时间轴- Tran, T.-K., Hong, X., Zhao, G.: Sliding window bad microexpression spotting: a enchmark. In: Cham 2017. Advanced Concepts for Intelligent Vision Systems, pp. 542–553. Springer
