基于生理大数据的情绪识别研究进展
赵国朕;宋金晶;葛燕;刘永进;姚林;文涛
【摘 要】随着计算技术和人机交互技术的不断发展,情感计算(affective computing,AC)逐渐成为情绪研究的新兴领域,而情绪识别(emotion recognition)又是情感计算中不可或缺的一环.基于生理信号的情绪识别方法比其他指标如面部表情、语音语调、身体姿势等更难以伪装,也能提供更丰富的信息.目前基于生理信号的情绪识别研究很多,但受到各种因素的影响,如刺激选取、诱发情绪的类别、采集设备、特征提取方法、不同的降维和分类算法等,各个研究的识别准确率差异性很大,很难进行比较.针对使用DEAP数据库(用音乐视频诱发情绪并采集脑电及外周生理信号的公开数据库)进行情绪识别的16篇文章做了梳理;对特征提取、数据标准化、降维、情绪分类、交叉检验等方法做了详细的解释和比较;最后分析了现阶段情绪识别在游戏开发、多媒体制作、交互体验、社交网络中的初步探索和应用,以及情绪识别和情感计算目前存在的问题及未来发展的方向.
大学英语六级词汇表【期刊名称】《计算机研究与发展》
【年(卷),期】2016(053)001kids怎么读
【总页数】有关圣诞节的电影13页(P80-92)
【关键词】情绪识别;脑电;外周生理信号;特征提取;机器学习
【作 者】april缩写赵国朕;宋金晶;葛燕;刘永进;姚林;文涛
绅士的风度
【作者单位】中国科学院心理研究所行为科学院重点实验室 北京 100101;中国科学院心理研究所行为科学院重点实验室 北京 100101;中国科学院心理研究所行为科学院重点实验室 北京 100101;清华信息科学与技术国家实验室(筹) 北京 100084;中国移动研究院 北京 100055;中国移动研究院 北京 100055
【正文语种】中 文
【中图分类】TP18
Abstract Affective computing (AC) is a new field of emotion rearch along with the development of computing technology and human-machine interaction technology. Emotion recognition is a crucial part of the AC rearch framework. Emotion recognition b
ad on physiological signals provides richer information without deception than other techniques such as facial expression, tone of voice, and gestures. Many studies of emotion recognition have been conducted, but the classification accuracy is diver due to variability in stimuli, emotion categories, devices, feature extraction and machine learning algorithms. This paper reviews all works that cited DEAP datat (a public available datat which us music video to induce emotion and record EEG and peripheral physiological signals) and introduces detailed methods and algorithms on feature extraction, normalization, dimension reduction, emotion classification, and cross validation. Eventually, this work prents the application of AC on game development, multimedia production, interactive experience, and social network as well as the current limitations and the direction of future investigation.
Key words emotion recognition; electroencephalograph (EEG); peripheral physiological signal; feature extraction; machine learning
情绪是伴随着认知和意识过程产生的心理和生理状态，在人类交流中扮演着非常重要的角
色.对情绪的研究由来已久，近年来，随着感知技术和人机交互技术的发展，情感计算(affective computing, AC)逐渐成为情绪研究的新兴领域.关于人机情感交互的思想由Minsky[1]最先提出，其在《Society of Mind》一书中指出“问题的关键不是智能机器是否需要情绪，而在于没有情绪的机器能否实现智能”.后来Picard[2]将“与情感有关、由情感引发或者能够影响情感因素的计算”界定为情感计算.
具体而言，情感计算是通过构建情绪状态而建立的计算模型，它对行为和生理信号进行分析，并基于测量到的情绪状态在人机之间建立情绪交互.其最重要的一个环节是“情绪识别(emotion recognition)”,即通过用户的行为和生理反应来预测估计相应的情绪状态[3].
基于脑电(electroencephalograph, EEG)的情绪识别[4]和基于生理信号的情绪识别[5]已经有研究者进行过综述.这2篇综述主要是从情绪的生理基础、情绪分类模型、诱发方法、脑电和生理信号的预处理、特征提取、降维和识别等方面进行了整理和介绍，但综述内容并不系统，涉及的文献也不完整.此外，考虑到情绪识别研究中的差异性(如刺激选取方法、诱发情绪的类别、采集设备、特征提取、降维和分类算法)，情绪识别的准确率变化很大，难以进行比较.因此，本文选取了一个用音乐视频诱发情绪并采集脑电和外周生理信号的公
开数据库DEAP[6]，将使用该数据库对情绪识别的研究做了细致的梳理，从特征提取、数据标准化、特征降维、分类器、交叉检验(cross validation, CV)5个方面进行分析和比较，探讨各因素在情绪识别研究中的应用效果以及各因素中不同算法间的优缺点.
本文中的生理大数据是指面向情绪识别的脑电及外周生理(皮肤电、心电、呼吸、皮肤温度、肌电、眼电)信号.尽管在累积数据的规模上还达不到互联网、社交媒体、医疗健康等领域超大数据的PB甚至EB级别，但其数据仍具有规模大(volume)、模态多样(variety)、速度快(velocity)和真实性(veracity)的“4V”特点[7].以DEAP数据库为例，32人共计1 280 min的生理数据大小为5.8 GB，按照单个医疗机构每日200人次的观测推算，数据规模已达到TB级别,其40通道的生理信号可提取的时域、频域、时频域特征从几百到上千不等.基于DEAP的实时情绪识别系统应在其刺激材料的持续时间(1 min)甚至更短时间内对情绪状态作出判断.考虑到生理信号的时变、不稳定、噪声强等特点，在短时间内从大规模生理信号中提取干净、真实、可信的特征并以此训练、建立分类模型并预测情绪状态是非常具有挑战性的研究内容.此外，本文重点强调的是基于个体用户的生理信号预测其情绪状态，不同于基于语音或者网络大数据的(例如用户在微博等社交媒体上发布的带有感情色彩的文字、照片和视频)面向群体用户情绪状态预测的技术.生理信号的时域、频域和时频域特征有着
较强的心理学和生理学基础，不需要人工规则构造特征；依赖于利用标准化的刺激材料诱发单一的目标情绪；利用用户的主观评价标记(分类)训练样本并采用有监督的机器学习算法；面向人机间情绪交互的实时、高效的情绪识别算法.
作为“情绪识别”的对象，首先需要明确“情绪”的含义.Izard[8]在一项通过对34名科学家的调研中提炼出情绪的构成：神经回路、反应系统以及一种激发和综合了认知及行为的感受状态.这可视为近30余年研究者对情绪的认知集合；然而，这种关于情绪的理论对“以实验技术操作情绪”和“以工程手段提取和判别情绪特征”而言缺乏可操作性.因此在研究情绪识别时，研究者通常采用以下2种视角来建构和理解情绪空间：离散模型(discrete model)和维度模型(dimensional model).
1) 离散模型认为情绪空间由数量有限的离散的基本情绪构成.尽管不同研究者对基本情绪的认识并不一致，但多数研究倾向于认为至少存在以下6种基本情绪：高兴、悲伤、惊讶、恐惧、愤怒和厌恶[9].2)维度模型则认为情绪空间可以由二维的效价-唤醒度(valence-arousal, VA)或是三维的愉悦度-唤醒度-优势度(pleasure-arousal-dominance, PAD)的坐标体系进行表达[10].其中，愉悦度是指个体感受到的愉悦程度，即正负特性(效价)；唤醒度是指个体
2014英语二答案
感受到情绪的心理警觉水平和生理激活的强烈程度；优势度是指个体处于控制还是被控制的地位[11].目前，基于DEAP数据库的情绪识别研究绝大多数建立在情绪维度模型的基础上.
坚持 英文以“离散”视角建立的情绪模型，其提炼出的基本情绪具有较好的普遍辨识性和自然属性，在神经系统层面也表现出了相对特异的反应模式[9,12-13].而以“维度”视角建立的情绪模型，即使在难以对某种特定感受进行命名的情况下，该模型也可以将不同情绪用数值在坐标空间中进行标记[14].从操作层面分析，尽管维度模型显然比离散模型更具操作性，但是当维度模型所要识别的情绪在效价和唤醒度上相近时，该方法对情绪的区分效力会相应下降[15].这是由于在度量维度上相近的情绪(如焦虑和愤怒)可能具有各自独特的表象，并诱发完全不同的行为反应[16].女生英文名
近年来，研究人员们提出一种融合2种情绪模型的观点：将具有显著特征的离散的情绪状态以维度化的方式表达，可在一定程度上实现2种模型的相互融合，如图1所示.例如，愤怒可表示为具有消极效价的、较高唤醒的情绪[17]；恐惧则可表征为一种消极的、更高唤醒的情绪[18].此外，同一种情绪也会因为刺激的不同而使感受到的情绪强烈程度不同.看到婴儿少年中国说原文翻译
微笑会特别高兴，而看到美丽的日落可能高兴程度没有那么强烈[18].从“情绪识别”的角度出发,情绪的维度模型更适合从量化的角度操纵和定义情绪；同时通过对生理信号的分析，也可以在一定程度上弥补“效价-唤醒度”模型在二维空间上缺乏分辨力的不足.
情绪诱发是情绪识别研究中的重要一环.常用的情绪诱发方法包括自我诱发(如回忆[19-21])、情景诱发(如玩游戏[22-23])和事件诱发.其中以事件诱发的研究最多，即通过图片、声音、视频或任何可以唤起情绪的材料来诱发被试的情绪.
2.1 视觉刺激
视觉刺激是最常见的诱发情绪的材料，通过给被试呈现情绪性的图片、面部表情、文字等来诱发被试的目标情绪是情绪诱发最常用的方法.经过标准化的视觉刺激材料，如国际情感图片库(international affective picture system, IAPS)[24-25]、面孔表情图片库(pictures of facial affect, POFA)[26]、英语情感词库(affective norms for English words, ANEW)[27]等，均已在情绪识别领域中得到广泛的引用.虽然研究表明基本情绪具有跨文化的一致性[28]，但由于文化背景、社会学习等差异，很多国家都针对国际标准库进行相应的修订和完善.国内研究者也针对国际标准材料库进行了本土化修订，建立了适用于中国的情绪刺激
材料，如中国情感图片库(Chine affective picture system, CAPS)[29]等.
2.2 听觉刺激
用听觉刺激诱发情绪比视觉刺激更为深入和持久，但目前经过标准化评定的听觉刺激材料很少[30].现有的研究中，大多数是研究者自己制作的听觉刺激材料，包括电影背景音乐、歌曲、声音等，也有经过标准化的听觉刺激材料库，如国际情感数码声音库(international affective digitized sounds, IADS)[31].国内研究者针对IADS编制了适用于中国被试的听觉刺激材料，即中国情感数码声音库(Chine affective digital sounds, CADS)[32].
2.3 视听觉刺激
早期的情绪识别研究主要使用图片或声音作为诱发情绪的材料.近年来，越来越多的情绪识别研究开始使用视听刺激结合的方式来诱发情绪.常用的视听觉刺激包括电影片段、音乐视频，或是呈现情绪图片的同时播放相应情绪的音乐[33].相比于单纯的视、听觉刺激，电影与实际生活中的情境更相似，内容和情节更为丰富，具有动态性、不可欺骗性和高生态效度[34].当然，电影诱发的情绪比较复杂，识别难度更大.常用的电影库包括Gross and Leve
nson[34]建立的美国情绪电影库、Schaefer等人[35]建立的法国情绪电影库、罗跃嘉等人[36]建立的中国情感电影库和梁育琦等人[37]建立的基于台湾被试的华语情绪电影库等.这些电影库都是基于离散情绪进行编制的.
