毕设题⽬：Matlab⼿势识别
1 案例背景
⼿势识别可以分为基于可穿戴设备的识别、基于触摸技术的识别和基于计算机视觉的识别。其中，基于计算机视觉的识别，⼿势图像信息由⼀个或多个摄像头采集，采集的数据进⾏预处理，包括去噪和信息增强。然后，利⽤分割算法获取图像中的⽬标⼿势。通过视频处理和分析得到当前⼿势的分类和描述，最后通过⼿势识别算法对⽬标⼿势进⾏识别。基于⼿势的⼿势识别主要由⼿势分割、⼿势分析和⼿势识别三部分组成。
1 ⼿势分割
第⼀步是对输⼊图像执⾏⼿势分段。⼿势分割过程主要包括⼿势定位和⼿势分割两部分。
（1）⼿势定位
⼿势定位过程在包含⼿势的图像帧序列中从复杂背景中提取⼿势区域，实现⼿势与背景的分离。⼿势定位后，通过算法将当前⼿势从背景区域分割出来。静态⼿势只需要提取单个帧图像的⼿势特征，⽽动态⼿势则需要对提取的帧序列进⾏⼿势分析。常⽤的⼿势分割⽅法有基于运动信息的检测分割、基于视觉特征的检测分割和基于多模式融合的检测分割。基于运动信息的检测分割主要包括光流法和差分法。光流法不需要预先获取图像背景来表⽰复杂环境下的⼿势运动，但要求背景图像保持静⽌，对光照要求较⾼。
使⽤光流⽅法实时跟踪⼿势。在静态背景下，差分法对⼿势的分割效果较好。对于⼀个移动的背景，需要对背景进⾏建模和区分。
使⽤Running Average⽅法对背景进⾏建模，然后进⾏⼿势分割
（2）⼿势分割
基于明显特征的分割⽅法主要包括肤⾊分割、纹理分割、⼿形分割和轮廓分割。
（a）肤⾊分割
肤⾊分割⽅法是最常⽤的⽅法：
使⽤集群的肤⾊在颜⾊空间建⽴肤⾊模型，如肤⾊建模通过RGB颜⾊空间：
翁等⼈使⽤贝叶斯⼿势分割，建⽴肤⾊模型，然后结合⽪肤的颜⾊，运动，和⼿势识别的轮廓形状信息,⼤⼤提⾼了分割精度。
这些分割⽅法不受⼿形的影响，但由于光照引起的肤⾊变化，分割错误率⼤⼤提⾼。
（b）基于多模式融合的分割⽅法主要是为了克服复杂环境对分割条件的影响，并结合各种特征，如表
观特征和运动信息。当使⽤单⾊可穿戴设备或背景来简化场景分割时，为了提⾼分割的准确性，有时会⽤⼿进⾏标记，这极⼤地影响了交互的⾃然度，从⽽限制了应⽤范围。其次，对⼿势进⾏建模和分析。
主要包括基于外观的⼿势建模和基于三维模型的⼿势建模基于外观的⼿势建模可以分为⼆维静态模型和运动模型。常⽤的策略有颜⾊特征、轮廓⼏何、可变形和移动图像参数。颜⾊特征是最常⽤的建模⽅法。
⽤单台相机捕捉⼿部运动图像，⽤颜⾊、运动、边缘等多种信息建模，建⽴⼿部运动的坐标系来识别⼿势[71]。利⽤圆周、质⼼、边界盒等⼏何特征建⽴轮廓⼏何模型。
使⽤旋转归⼀化⽅法对⼿势区域的图像进⾏对齐，并使⽤KravtCouk矩作为轮廓特征训练模型来识别静态⼿势。通过⼀组能够描述全局运动的物体轮廓插值节点，建⽴了基于gabarit的可变形模型。
最简单的插值⽅法是分段线性函数。
Ju等⼈利⽤snake算法分析了课堂上的视频浏览和索引⼿势。
基于运动图像参数的模型与其他模型的不同之处在于，它们是由视频序列中对象的平移、旋转和⽅向等运动参数建模的。
提出在真实场景中使⽤⼀个新的描述符和⼀个局部运动直⽅图来描述运动模式，然后通过增强⽅法选择
特征。该⽅法仅利⽤局部特征建⽴了明显的⼿势建模，计算复杂度较低。利⽤基于三维的⼿势模型建⽴当前图像的三维模型，并根据相关参数计算⼿势状态。常⽤的⼿势模型包括三维⾻架模型、三维纹理体模型和三维⼏何模型。
⾻架模型是最常⽤的三维模型。
使⽤Kinect⽣成的深度数据进⾏⾻建模。
2 ⼿势分析
⼿势分析由特征检测和参数估计两部分组成。
特征检测⽤于从分割后的⼿势中提取图像特征参数。图像特征主要包括视觉特征和语义特征。视觉特征包括颜⾊、纹理和轮廓，语义特征代表对图像内容的理解。
参数估计根据模型的不同使⽤不同的⽅法。
先⽤⽅向梯度直⽅图(HOG)描述运动员的⾯积，然后⽤主成分分析(PCA)将HOG投影到线性⼦空间中，得到PCA-HOG描述特征。曲棍球和⾜球的实验表明，该⽅法在光照、姿态和视⾓的变化下，对跟踪和识别结果具有较强的鲁棒性。
3 ⼿势识别
⼿势识别主要是基于传统的机器学习⽅法和神经⽹络。使⽤传统的机器学习模型识别基于视觉的⼿势有很多⽅法。
静态⼿势识别采⽤模板识别，动态⼿势识别采⽤与时域信息相关的HMM。
所选择的识别⽅法与⼿势的类型有很⼤的相关性。
戴着有⾊⼿套，⽤⼀对普通的⽹络摄像头捕捉⽤户的⼿势数据，训练HMM模型对⽤户预定义的⼋个⼿势进⾏实时跟踪和识别。
近年来，随着深度学习的发展，该技术已⼴泛应⽤于⼿势识别领域。
同时采集彩⾊图像和深度图像，提取⼿势的⾻骼特征和梯度直⽅图特征。然后将提取的特征融合起来，建⽴快速rnn，将连续的⼿势分割成孤⽴的⼿势。通过⼀个简单的递归神经⽹络(SRNN)。通过简单递归神经⽹络(SRNN)和长短时记忆(LSTM)，建⽴了⽤于连续⼿势识别的双流递归神经⽹络2S-RNN。
Tsironi等结合卷积神经⽹络(CNN)对视觉特征的敏感性和LSTM对连续事件的有效性，提出了卷积长短时记忆递归神经⽹络(CNNLSTM)。
4 现成案例（代码+参考⽂献）
6 参考⽂献
[1]林晓予 .基于MATLAB仿真的⼿势识别系统及其应⽤[J].信息技术与信息化. 2020,(09)
