图⽚情感识别分类分析概述
⽬录
（⼀）简介
lol投降图⽚可以⽤于传达某些情感，例如看到流浪狗的照⽚会让你感到悲伤，⽽看到美景的时候会让你⼼旷神怡。对图⽚所传达的情感进⾏识别分析是⼀个具有吸引⼒的问题。⽬前已经有很多的⽅法在研究这个课题，本博客主要对⾃⼰所看过的相关论⽂做⼀个总结分享。
1. 情绪模型
⼼理学中主要有两种情感表达模型：
CES (Categorical Emotion States): 类别情绪状态。这种模型主要讲情绪设置为⼀组预先定义好的种类，例如：伤⼼，开⼼，激动等。这种模型所对应的⽅法将图⽚情感分析视为⼀个分类问题。
DES(Dimensional Emotion Space): 维度情绪模型。其中常⽤的有 valence-arousal-dominance (VAD) and activity-
temperature-weight (VTT) 模型，其中 VAD 模型常⽤⼀些。我们可以将其视为颜⾊中的三种基本颜⾊，通过不同数值的组合得到⼀个颜⾊。VAD 中 valence、arousa l和 dominance 三个维度给⼀个值就代表⼀种情感。这种模型所对应的⽅法将图⽚情感分析视为⼀个回归问题。
龙年快乐⽬前⼤部分的论⽂都是使⽤ CES 模型的，因为这个模型直观简单，但是理论上来说 CES 的情感表达能⼒不如 DES，⽐如特别伤⼼和有点伤⼼都属于伤⼼⼀类，但是在 DES 中各个维度的值就会不同。但是两者之间是有⼀定联系的。⽐如下图中的 © ⼦图，如果按照 CES 就是fear ⼀类，如果按照 DES 三个维度对应的值就是 4.1956、4.49989 和 4.8378。
2. 常⽤数据集
1. IASP (International Affective Picture System)
2. IASPaspider是什么意思
3. Abstract
4. GAPED (Geneva Affective Picture Databa)
5. MART
6. devArt
7. Tweet
8. FlickrCC (Flickr creative common)
9. Flickr
10. Emotion6
11. FI (Flicker and Instagram)
12. Emotion6
13. IESN
猪笼草的作文14. FlickrLDL
锤式弯举15. TwitterLDL
3. 问题难点（挑战）
3.1 数据标记困难
3.2 情感涉及的图⽚特征多样化
不同图⽚可能引起⼈们情感的原因不同，例如有的图⽚是由于其中的物体，有的是其中的线条，有的是⼀些构图。因此是⾼层特征起作⽤还是低层特征起作⽤是⼀个重要的问题。例如 Abstract 数据集主要是由于其中的抽象特征（线条等）起作⽤，GAPED 数据集主要是图⽚中物体起作⽤。
（⼆）主要⽅法
1. 低级特征
2. 中级特征
3. ⾼级特征
4. 基于学习的特征
上述的特征⼤部分都是有⼈⼿⼯定义的，因此泛化性能交差，⽐如低级特征的⽅法⽤户⾼级特征主导的数据集，可能表现会很差。深度学习具有学习特征表⽰的能⼒，因此有⼤量深度学习的⽅法提出来解决图⽚情感分类问题。
例如：
《Building a Large Scale Datat for Image Emotion Recognition
The Fine Print and the Benchmark》.
《Joint Image Emotion Classification and Distribution Learning via Deep Convolutional Neural Network》
《Learning Multi-level Deep Reprentations for Image Emotion Classification》
《Dependency Exploitation: A Unified CNN-RNN Approach for Visual Emotion Recognition》
《From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction》
《Retrieving and classifying affective images via deep metric learning》
第⼀篇论⽂：主要是基于迁移学习的，将预训练好的 ImageNet 迁移到情感图⽚数据集上，然后微调最后⼀层⽹络。
第⼆篇论⽂：主要使⽤了⼀种多任务学习框架，不仅学习了图⽚情感分类任务，还学习了标签分布。
第三篇论⽂：使⽤了⼀个多级⽹络，原理是前⾯的 CNN 学到的是低级特征，后⾯的 CNN 学到的是⾼级特征，然后再使⽤多个 CNN 层和完全连接层将多个特征融合到⼀起对图⽚情感进⾏分类。
第四篇论⽂：基于第三篇论⽂，进⼀步研究了不同级别特征之间的关系对图⽚情感进⾏分类。
第五篇论⽂：类似于第⼀篇论⽂的⽅⾯，基于迁移学习和微调的⽅法，不过其中的消融对照实验很有启发性。
第六篇论⽂：使⽤⼀种多任务学习框架结合度量学习，不仅学习了图⽚情感分类任务，还学习的情绪之间的关系。语开头的四字成语
（三）论⽂链接
《Building a Large Scale Datat for Image Emotion Recognition
The Fine Print and the Benchmark》.
《Affective Image Classification using Features Inspired by Psychology and Art Theory》
《Sun attribute databa: Discovering, annotating, and recognizing scene attributes》
《Large-scale visual ntiment ontology and detectors using adjective noun pairs》
《Joint Image Emotion Classification and Distribution Learning via Deep Convolutional Neural Network》
《Learning Multi-level Deep Reprentations for Image Emotion Classification》
《Dependency Exploitation: A Unified CNN-RNN Approach for Visual Emotion Recognition》孙雨蒙
《From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction》求婚方式
《Retrieving and classifying affective images via deep metric learning》
