Few-shotLearningsurvey-详细易懂-⼩样本综述
⽬ 录
⼩样本学习可分为四种基本技术：mi-supervid learning、Active learning、Transfer learning、Incorporating knowledge。针对于不同的learning tasks可能结合使⽤不同的技术。
半监督学习 mi-supervid learning
基本概念
在许多ML的实际应⽤中，很容易找到海量的⽆类标签的样例，但需要使⽤特殊设备或经过昂贵且⽤时⾮常长的实验过程进⾏⼈⼯标记才能得到有类标签的样本，由此产⽣了极少量的有类标签的样本和过剩的⽆类标签的样例。因此，⼈们尝试将⼤量的⽆类标签的样例加⼊到有限的有类标签的样本中⼀起训练来进⾏学习，期望能对学习性能起到改进的作⽤，由此产⽣了SSL，如图所⽰。SSL避免了数据和资源的浪费，同时解决了SL的 模型泛化能⼒不强和UL的模型不精确等问题。
半监督学习可分为：纯半监督学习与直推学习。前者假定：训练数据集中的未标记数据集并⾮待预测数据集。直推学习假定学习过程中的未标记数据集就是待预测的数据。直推学习仅仅对未标记样本进⾏预测标记。如下图：
半监督学习的三个假设：
半监督学习依赖于模型的假设，当模型假设正确时，⽆类标签的样例能够帮助改进学习性能。三个假设如下：
凯旋造句
说话晚的小孩（1）平滑假设（Smoothness Assumption）
位于稠密数据区域的两个距离很近的样例的类标签相似，也就是说，当两个样例被稠密数据区域中的剩米饭的做法
边连接时，它们在很⼤的概率下有相同的类标签；相反地，当两个样例被稀疏数据区域分开时，它们的类标签趋于不同．
（2）聚类假设（Cluster Assumption）
当两个样例位于同⼀聚类簇时，它们在很⼤的概率下有相同的类标签．这个假设的等价定义为低密度分离假设（Low Sensity Separation Assumption），即分类决策边界应该穿过稀疏数据区域，⽽避免将稠密数据区域的样例分到决策边界两侧。
（3）流形假设（Manifold Assumption）
我毕竟走过作文将⾼维数据嵌⼊到低维流形中，当两个样例位于低维流形中的⼀个⼩局部邻域内时，它们具有相似的类标签。
半监督学习的应⽤
半监督学习在许多领域都有重要应⽤。例如：遥感图像分类与图像显著性检测。遥感图像分类主要任务是根据遥感区域的不同地物覆盖类型对多光谱卫星图像中的像素进⾏分类，从⽽可以通过卫星图像研究地物覆盖类型的组成和变迁。在实际应⽤中，因为获取遥感标记数据需要对遥感地区进⾏实地考察，同时需要专业⼈员对遥感图像进⾏解译，因此标记样本的获取成本较⾼．另外，因为每个类的标
记样本很少，所以这些标记样本也⽆法完全体现出数据的类内多样化和变化范围．这些都给传统的监督学习带来了很⼤的障碍。如下图，标记样本很有限的情况下，半监督学习分类的结果精度要远好于传统的监督学习。
半监督学习⽅法结构
家庭生活的作文SSL按照统计学习理论的⾓度包括直推（Transductive ）SSL和归纳（Inductive）SSL（纯半监督学习）两类模式。直推 SSL只处理样本空间内给定的训练数据，利⽤训练数据中有类标签的样本和⽆类标签的样例进⾏训练，预测训练数据中⽆类标签的样例的类标签；归纳SSL处理整个样本空间中所有给定和未知的样例，同时利⽤训练数据中有类标签的样本和⽆类标签的样例，以及未知的测试样例⼀起进⾏训练，不仅预测训练数据中⽆类标签的样例的类标签，更主要的是预测未知的测试样例的类标签。从不同的学习场景看，SSL可分为４⼤类：
（1）半监督分类（Semi-Supervid Classification）
在⽆类标签的样例的帮助下训练有类标签的样本，获得⽐只⽤有类标签的样本训练得到的分类器性能更优的分类器，弥补有类标签的样本不⾜的缺陷，其中类标签yi取有限离散值yi∈{c1,c2,···,cc}, cj∈N。
（2）半监督回归（Semi-Supervid Regression）
在⽆输出的输⼊的帮助下训练有输出的输⼊，获得⽐只⽤有输出的输⼊训练得到的回归器性能更好的回归器，其中输出yi 取连续值 yi∈Ｒ。
（3）半监督聚类（Semi-Supervid Clustering）
在有类标签的样本的信息帮助下获得⽐只⽤⽆类标签的样例得到的结果更好的簇，提⾼聚类⽅法的精度。
（4）半监督降维（Semi-Supervid Dimensionality Reduction）
在有类标签的样本的信息帮助下找到⾼维输⼊数据的低维结构，同时保持原始⾼维数据和成对约束（Pair-Wi Constraints）的结构不变，即在⾼维空间中满⾜正约束（Must-Link Constraints）的样例在低维空间中相距很近，在⾼维空间中满⾜负约束（Cannot-
Link Constraints）的样例在低维空间中距离很远。
同安孔庙半监督学习⽅法结构
半监督深度学习
已有的半监督深度学习算法可分为三类：⽆监督特征学习类，正则化约束类和⽣成式对抗⽹络类。
⽆监督特征学习类算法通常利⽤所有样本（包含标记样本和⽆标记样本）学习出样本的隐特征或隐含变量表⽰，在此基础上利⽤有监督分类器对⽆标记样本所对应的隐特征进⾏分类，从⽽间接地对⽆标记样本进⾏分类。
正则化约束类算法通常是在有监督神经⽹络的输出层或者隐含层的⽬标函数中加⼊体现样本分布，特性的正则化项，⽤以在训练中引⼊⽆标记样本。
⽣成式对抗⽹络GAN中，通过让⽣成器和判别器相互竞争达到平衡状态来⽆监督地训练⽹络．由于 GAN 在⽣成模拟真实样本上的成功表现，⼀个很⾃然的想法就是在标记样本较少的情况下，能否利⽤GAN所学到的样本内容分布和强⼤的竞争学习能⼒来提⾼⽹络分类性能。
主动学习（Active Learning）
培优班基本概念
解答题在某些情况下，没有类标签的数据相当丰富⽽有类标签的数据相当稀少，并且⼈⼯对数据进⾏标记的成本⼜相当⾼昂。在这种情况下，我们可以让学习算法主动地提出要对哪些数据进⾏标注，之后我们要将这些数据送到专家那⾥让他们进⾏标注，再将这些数据加⼊到训练样本集中对算法进⾏训练。这⼀过程叫做主动学习。主动学习的重点在于选择策略，选择向那些数据提出标注请求。策略的要求是迭代次数尽量少，并使得结果尽量更加精确。
“学习模块”和“选择策略”是主动学习算法的2个基本且重要的模块。主动学习通过“选择策略”主动从未标注的样本集中挑选部分
（1个或N个）样本让相关领域的专家进⾏标注；然后将标注过的样本增加到训练数据集给“学习模块”进⾏训练；当“学习模块”满⾜终⽌条件时即可结束程序，否则不断重复上述步骤获得更多的标注样本进⾏训练。
关键假设：The key hypothesis is that if the learning algorithm is allowed to choo the data from which it learns—to be “curious,” if you will—it will perform better with less training。
应⽤领域以及场景
主动学习适⽤于能够以廉价的成本获得⼤量的未标注数据的领域；典型的如医疗图像处理领域；⼀位训练 有素的医⽣标注⼀张 X 射线图像需要花费 4-5 分钟以及 20-30 元的成本，标注⼀组CT 图像需要花费 15-20 分钟以及 50-70 元的成本。除了图像分类任务之外，主动学习⽅法也⼴泛应⽤于⾃然语⾔处理，视频检索，语⾳识别和⽂本分类等领域。
主动学习相⽐于半监督学习的特点：半监督学习不需要⼈⼯标注数据集的成本，但学习过程中极有可能引⼊⼤量噪声样本，导致模型学习到错误信息；⼆者具有相似的迭代训练过程；具有部分能够互补的优缺点。
研究现状
当前的主动学习有如下的⽅法，包括：
（1）基于未标注样本池的主动学习⽅法 。筛选出最不确定的样本进⾏⼈⼯标注。
（2）批量式主动学习⽅法。旨在每次迭代中能够产⽣⼀批未标注样本，同时提供给多名标注者，从⽽提升了应⽤效率。
（3）半监督主动学习⽅法。结合了半监督学习与主动学习，利⽤各⾃的优势并弥补不⾜。
（4）结合⽣成对抗⽹络（GAN）的主动学习⽅法
（5）⼀些其他主动学习⽅法。
相关论⽂
[1]“Active Learning Literature Survey”详细的对主动学习展开介绍。
[2]“Survey on active learning algorithms”是⼀篇幅较短的中⽂论⽂，主要围绕主动学习的基本思想和截⾄2012年最新的研究成果，并对相关算法进⾏分析，总结了有待进⼀步研究的问题，包括：1）结合⾮监督学习算法，取代专家标注的环节；2）维度灾难：在预处理阶段寻找⾼效的降维⽅法，减少主动查询过程的复杂度。
[3]“Fine-Tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally”是⼀篇发表于CVPR-2017的论⽂，使⽤Active Learning + Transfer Learning、Data Augmentation、Majority Selection、Continuously Fine-Tuning等⽅法在3个医疗图像领域的数据集上验证了引⼊主动选择的策略（entropy+diversity）能够⾄少减少⼀半的数据标注代价。
[4]“Generative Adversarial Active Learning”⾸次将GAN与Active Learning进⾏组合，通过训练GAN得到⽣成器模型，主动⽣成最有价值的样本让专家进⾏标注。
[5]“Learning Active Learning from Data”跟传统的主动选择策略有本质上的区别，它克服了⼿⼯设计的选择策略跨领域泛化能⼒的不⾜，通过将主动选择策略转化为回归问题进⾏学习，学习得到的策略在多个不同领域的真实数据集（Striatum、MRI、Credit Card、Splice、Higgs）上取得显著的效果。
迁移学习
远域迁移学习
现今很多迁移学习⽅法都是假设源域和⽬标域之间存在某些相似性，这样才能够进⾏迁移，⽽这篇⽂章提出了⼀种⽅法，叫做：Selective Learning Algorithm。这种⽅法认为：即使源域和⽬标域毫⽆关系，⽐如源域使⽤⼈脸图像，⽬标域中是飞机图像，都可以完成迁移。
我们假设源域和⽬标域分别是两个不同的点，要从源域⾛到⽬标域，怎么⾛呢？虽然源域和⽬标域完全不同，隔得很远，但是我们可以通过中间的点，⼀步⼀步⾛到源域，⽽这中间的点，⼜被叫做中间域（媒介域）。
⼤体的思想我们知道了，是通过传递来实现的，现在我们回到迁移中来，要从源域通过多个中间域，最终对⽬标域进⾏任务判别，那么需要从中间域中找出与源域相似的特征，⼜与⽬标域相似的特征，这样才可以将三者结合起来。因为源域可能与⽬标域差的实在太远了，⽽中间域⾥可能包含了很多对⽬标域有⽤的数据，我们要⽤到的中间域可能很多，所以中间域（这⾥把所以的中间域看成⼀个集合，就叫中间域，⾥⾯包含了很多域的数据）中的特征也很多，那怎么选择满⾜要求的特征呢？同时，如果我们找到了这些特征，但是这些特征仅是与源域、⽬标域相似⽽已，⽽我们最终的⽬的是通过这些特征能够对⽬标任务进⾏判定，那么我们还需要从特征中选择出具有边信息(side information)的特征⽤于判别⽬标任务，其中边信息可以理解为具有指向性的信息。是的，这样看起来就初步完善了，论⽂的主要的两⼤步骤也是这两点：
1.样本（特征）选择：通过构建出具有“鲁棒性的⾼层级特征提取”功能的⾃编码器进⾏特征提取。在重构误差较⼩的情况下，通过在源域、⽬标域、中间域上同时最⼩化损失函数来完成这⼀过程。
2.合并边信息：通过中间域的熵信息伪造标签，再结合源域和⽬标域中的标签，通过测试效果判断选出的样本（特征）是否对判别⽬标任务有帮助。
样本⾃动选择
在论⽂中，作者假设源域是有标签的，⽬标域有⼀⼩部分有标签，⽽中间域是没有标签的。然后，SLA的框架如下：
那这和样本⾃动选择有什么关系呢？是这样的，作者认为，如果同⼀个⾃编码器在源域和⽬标域数据上都取得较⼩的重构误差，那么这个源域数据就类似于⽬标域数据，或者是对⽬标域来说是有⽤的，也可以这么理解，在重构误差都较⼩的情况下，源域通过编码器(⼀对参数)得到的特征h与⽬标域通过同⼀个编码器(⼀样的参数)得到的特征可以看为是相近的。另外中间域和⽬标域也是那么个回事。OK，通过这样就可以选出源域中对⽬标域有⽤的数据了—通过重构误差判断，然后通过在源域、⽬标域、中间域上同时最⼩化损失函数来完成这⼀过程，其中损失函数⼜由上⾯提到的重构误差组成：
合并边信息
