【超分辨率】—图像超分辨率（Super-Resolution）技术研究⼀、相关概念
1.分辨率
图像分辨率指图像中存储的信息量，是每英⼨图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做像素每英⼨。⼀般情况下，图像分辨率越⾼，图像中包含的细节就越多，信息量也越⼤。图像分辨率分为空间分辨率和时间分辨率。通常，分辨率被表⽰成每⼀个⽅向上的像素数量，例如64*64的⼆维图像。但分辨率的⾼低其实并不等同于像素数量的多少，例如⼀个通过插值放⼤了5倍的图像并不表⽰它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节，即⾼频信息。在⼤量的电⼦图像应⽤领域，⼈们经常期望得到⾼分辨率（简称HR）图像。但由于设备、传感器等原因，我们得到的图像往往是低分辨率图像（LR）。增加空间分辨率最直接的解决⽅法就是通过传感器制造技术减少像素尺⼨（例如增加每单元⾯积的像素数量）；另外⼀个增加空间分辨率的⽅法是增加芯⽚的尺⼨，从⽽增加图像的容量。因为很难提⾼⼤容量的偶合转换率，所以这种⽅法⼀般不认为是有效的，因此，引出了图像超分辨率技术。
2.图像超分辨率
图像超分辨率（Image Super Resolution）是指由⼀幅低分辨率图像或图像序列恢复出⾼分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。⽬前，图像超分辨率研究可分为 3个主要范畴：
基于插值、基于重建和基于学习的⽅法。
超分辨率(Super-Resolution)即通过硬件或软件的⽅法提⾼原有图像的分辨率，通过⼀系列低分辨率的图像来得到⼀幅⾼分辨率的图像过程就是超分辨率重建。超分辨率重建的核⼼思想就是⽤时间带宽(获取同⼀场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。
3.与其他图像处理技术的关系
图像修复技术 VS 图像超分辨率技术：图像修复的⽬标是恢复⼀个被模糊或者噪声破坏的图像，但是它不改变图像的尺⼨。事实上图像修复和SR复原在理论是完全相关的，超分辨率技术可以看作是第⼆代图像修复技术，主要区别是图像修复技术在处理后图像中的像素数并不增加。
图像插值 VS 图像超分辨率：图像插值，即增加单幅图像的尺⼨。⼀般的插值并不能恢复LR采样过程中丢失的⾼频信息，但是图像超分辨率可以，因此图像插值⽅法不能被认作是SR技术。
图像锐化 VS 图像超分辨率：图像锐化可以提升⾼频信息，但仅增强已有的⾼频成分；超分辨率技术能估计出原始图像中没有表现出来的⾼分辨率细节。
小肠汤
图像拼接 VS 图像超分辨率：图像拼接虽然将多幅图像结合成更⼤的图像，包含了更多的像素，但没有提供更多的细节信息，所以不能算是超分辨率技术。
4.超分辨率技术分类
复活读后感A.按领域分类
（1）基于频域的⽅法
主要是傅⾥叶变换及其逆变换。由于图像细节是通过⾼频信息反映出来的，所以消除低分辨率图像⾥的频谱混叠就可以获得更多被掩盖掉的⾼频信息，从⽽增加图像细节，提⾼图像的分辨率。
优点：原理清晰，理论推导⽅便，计算复杂度较低；
缺点：只适⽤于空间不变噪声的情况，只能处理图像中仅有整体运动⽽没有局部运动的情况，难于在处理过程中利⽤先验信息。
（2）基于空域的⽅法
空域的⽅法常利⽤图像局部的信息进⾏，增加像素的数量和紧密程度，从⽽增加图像细节，提⾼图像的分辨率。
优点：种类多，可将各种退化因素综合考虑，灵活性强；
缺点：设计复杂，计算复杂度较⾼。
B.根据所⽤低分辨率图像的数量分类
（1）基于单幅图像的超分辨率（SISR）
输出是单幅图像。包含：图像放⼤（图像尺⼨或像素的增加）、超分辨率复原（利⽤点扩散函数和⽬标的先验知识，在图像系统的衍射极限之外复原图像信息）。
（2）基于多幅图像的超分辨率（MISR）
输出的可以是单幅图像也可以是⼀个图像系列（常为视频）。其基本前提是通过同⼀场景可以获取多幅LR细节图像，每⼀幅LR图像都会为HR图像的复原提供⼀些不同的信息，如果能够合成这些HR图像，那么SR图像复原是可以实现的。
C.根据技术本⾝的特点分类
（1）基于重建的超分辨率
基于重建的超分辨率复原⽅法是对图像的获取过程建⽴观测模型，然后通过求解观测模型的逆问题来
实现超分辨率重建。观测模型描述了成像系统从⾼分辨率场景（图像）获取低分辨率观测图像的过程。
清炖猪蹄
从本质上讲，利⽤单幅或多幅LR观测图像获取HR观测图像是求解观测问题的逆问题，它是⼀个病态反问题。
关键步骤：配准、重建。配准是将多幅同⼀场景的LR图像在空间上进⾏亚像素精度对齐, 得到⾼低分辨率图像彼此之间的运动偏移量, 构建观测模型中的空间运动参数。重建是采⽤不同的先验约束条件 (平滑性、⾮负性和能量有限性等) 和最优化求解⽅法进⾏HR图像的求解。
典型⽅法：⾮均匀插值法、迭代反投影法、最⼤后验概率法（⽬前实际应⽤和科学研究中运⽤最多的⼀种⽅法）、凸集投影法。
小学班级公约
（2）基于学习的超分辨率
借助预先的训练学习（从数据库）来寻找或建⽴低分辨率图像与其对应的⾼分辨率图像之间的映射关系，提取⾼频信息，从⽽在给定低分辨率图像的情况下，通过优化⽅法获得相应的⾼分辨率图像。
咳嗽可以跑步吗浅层学习：特征提取–>学习–>重建
深度学习：特征提取–>⾮线性映射–>图像重建
⼆、基于深度学习的超分辨率重建⽅法整理
1、SRCNN
拍照照片Super-Resolution Convolutional Neural Network（PAMI 2016, ）小白牛
该⽅法对于⼀个低分辨率图像，先使⽤双三次（bicubic）插值将其放⼤到⽬标⼤⼩，再通过三层卷积⽹络做⾮线性映射，得到的结果作为⾼分辨率图像输出。
冰蓝花
引⽤与推荐：
（机器之⼼的PaperWeekly系列都是精品）
（2019.2 最新的综述）
