基于Leap Motion的人机互动系统
王清辉;陈艳明;刘凤琳;温发林;王颖;林奇平
【摘 要】通过Leap Motion进行手写数字采集,将采集数据传输给计算机.计算机将采集数据进行预处理,然后根据特征提取算法获得每个数字对应的特征值,该特征值可作为后续神经网络辨识的数据源.由于采用的特征组合只有3种,因此简化了模式库的建立.
【期刊名称】《龙岩学院学报》
【年(卷),期】2018(036)002
【总页数】5页(P18-22)
【关键词】LeapMotion;人机互动;特征值很爱很爱你歌词
【作 者】王清辉;陈艳明;刘凤琳;温发林;王颖;林奇平
【作者单位】龙岩学院 福建龙岩 364000;龙岩学院 福建龙岩 364000;龙岩学院 福建龙岩 364000;龙岩学院 福建龙岩 364000;龙岩学院 福建龙岩 364000;龙岩学院 福建龙岩 364000
【正文语种】中 文
【中图分类】TP391.7
自动手势识别技术已经获得越来越多的关注，该技术可为许多领域的应用开辟道路，例如：人机交互（HCI）、计算机游戏、机器人技术和自动手语解释［1］。上述例子可以采用基于手套和基于视觉的方法来解决［2-3］，其中采用基于手套的方法［4-6］会影响到人机互动的方便性和自然性，而以视觉为基础的手势识别方法更加方便和自然。目前基于视觉技术的方法有三种：一是基于手轨迹角度和角度变化速率的手势建模方法［7］；二是在视频的时间范围内通过计算机位置偏移量来提取动作模式进行手势识别［8］；三是通过三个阶段设计一个手势识别系统：检测、跟踪和识别［9］等。
本文采用Leap公司制造的体感控制器Leap Motion作为手势识别的采集设备，Leap Motion是最近推出的基于视觉技术的传感器，Leap Motion的目标是提取手势的3D数据［10］。使用Leap Motion进行手势采集，能够直接计算指尖和手方向的位置。将这些相关的信息传输到计算机上，在计算机中通过软件对传输过来的采样数据进行存储，并通过对其进行特征提取，简化后续的神经网络辨识和分类器的构建。
1 系统设计
本文采用特征提取的算法来识别手写阿拉伯数字0～9，这些数字都是通过Leap Motion采集的。计算机将采集的数字先进行预处理，然后进行数字的特征提取。根据特征提取规则，不同数字将得到不同的特征值组合，利用获取的特征值组合可以作为后期训练识别器的样本值，构建用于识别手写阿拉伯数字0～9的识别器。由于篇幅有限，本文就不讨论识别器的构建。系统的工作原理图如图1所示。
图1 系统的工作原理图
1.1 数据采集
Leap Motion有两个摄像头，可以从不同的方向拍照，在三维空间中获取手势信息。Leap Motion能够感知手的手指的位置和运动，以及手掌的运动和曲率。该传感器的检测范围在25 mm到600 mm之间。图2为手模型和Leap Motion的坐标系统图［11］。Leap Motion本身提供的系统软件可以将手部运动形象化，作为屏幕上的一种骨骼运动，可以用来观测当前的手势移动。每个用户用右手的食指写下字母或数字（实验都是采用右手进行）。每个
信息的三维坐标（x，y，z）都由Leap Motion捕获，相应的手势由食指的运动轨迹表示。使用Leap Motion进行实验数据采集的图片如图3所示。阿拉伯数字0～9都是通过这样的方式进行采集得到。将其中一组采集的数字0～9通过MATLAB软件还原如图4所示。
图2 手模型和Leap Motion的坐标系统图
图3 Leap Motion进行实验数据采集
图4 Leap Motion进行实验数据采集
1.2 特征和特征值
为了有效地区分手写数字，必须进行特征提取。特征提取的原则：（1）选定的特征应包括有用信息；（2）特征值的抽象方法应该简单快速；（3）各特征值之间的关联度越小越好；（4）特征值的数量应尽量少；（5）本征值的抗干扰能力强。根据上述各项原则，本文提出了一种数字字符特征值和特征提取方法。根据对数字的研究，数字0～9可分解为左凹、右凹、上凹、封闭、斜封闭、整体封闭和无等7种状态，其中前六种基本状态见图5。对应每个数字的特征和特征值如下表1所示。各个特征解释如下：
精液对女人的好处
表1 数字的特征和特征值特征 左凹 右凹 上凹 封闭 斜封闭 整体封闭 无特征值 1 2 3 4 5 6 0
左凹：在这种情况下，当垂线与数字相交时，有两个节点，垂线被认为是边界线。将数字分作左右两个区域，左边区域不闭合，右边区域是闭合的。例如数字“7”。（闭合的意义可以定义为：从数字7中间做垂线，算法被设计成逐行搜索。如果算法发现某条直线上没有曲线点，就会认为该区域没有闭合。）
右凹：在这种情况下，当垂线与数字相交时，有两个节点，垂线被认为是边界线。左边区域闭合，右边区域是不闭合的。
上凹：在这种情况下，只有一个节点位于数字的中间，可以从扫描算法中判断左右区域是闭合的。
封闭：在这种情况下，有两个节点，可以判断左右区域都是封闭的。其中一个节点位于数字矩阵的顶部区域或底部区域，另一个节点必须位于数字矩阵的中间区域。
斜封闭：在这种情况下，有两个节点。从扫描算法中可以判断左右区域是闭合的，但上面
的节点并不位于数字矩阵的顶部区域，下面的节点位于数字矩阵的中间区域。
整体封闭：在这种情况下，有两个节点。从扫描算法中可以判断左右区域是闭合的，上面的节点位于数字矩阵的顶部区域，下面的节点位于数字矩阵的底部区域。无：表明该特征和前面定义的都不符合。现将上述的特征类别举例如下：
三股叉根据上述的特征分类可以知道，数字4属于斜封闭特征。数字5的上部分是右凹，下部分是左凹。数字8的上下部分是两个封闭。
1.3 手写数字的特征提取
本文提出的数字特征信息可以用三个变量来表示，分别是A、B、C。其中A对应第一个特征值，B对应第二个特征值，C对应第三个特征值。特征值的提取步骤如下：
步骤1：
将输入数字图片的数值矩阵进行删除无用区域和二值化处理［12］。
图5 6种基本状态的特征图
例如，图6（1）所示是未进行处理的手写数字3。图6（2）是处理后的数字3，其中和数字无关的外围区域被删除。
步骤2：
计算从数字上方画条中间线通过数字得到的节点个数作为第一个特征值，用变量A来表示该部分的特征值。例如：数字4的中线垂线节点数是1个，则A＝1；数字8的中间交点数是3，则A＝3。如图7所示。
图6 数字3
步骤3：
数字按水平线分为上下两部分。因此上半部分和下半部分的特征取值分别用变量B和C来表示。烧烤羊肉串怎么腌制
由于特征值B表示手写数字的上半部分，因此在上部分中至少需要一个节点。在这种情况下，将根据上面的表1进行识别，以获得相应的状态值。否则，说明该部分不用于识别，因此，让B＝0。例如，图8中的数字“4”，B＝5。
特征值C表示手写数字的下半部分，要求下部分至少有两个节点。在这种情况下，将根据表1进行识别，以获得相应的状态值。否则，说明该部分不用于识别，因此让C＝0。例如，图8中的数字“6”，C＝4。
例如，图8中的手写数字“4”，因为节点为2，上半部分的特征状态为斜封闭，下部分特征状态为无，因此B＝5，C＝0；图8中手写数字“6”，因为节点为2，上半部分为无，下部分特征状态为封闭，因此B＝0，C＝4；图9中手写体数字“2”，因为节点为3，上层特征状态为左凹，下部分特征状态为右凹，因此B＝1，C＝2；图9中的手写数字“3”，因为节点为3，上半部分的特征状态为左凹，下部分特征状态为左凹，因此B ＝ 1，C ＝ 1。
图7 数字4和8
图8 数字4和6
图9 数字2和3
1.4 建立模式库
将提取的特征值送入神经网络训练，可以生成神经网络分类器。后面将待识别的数字提取特征值后就可以送入分类器进行数字识别，由于篇幅有限，神经网络识别部分就不在这里介绍。
2 结束语
文中提出了基于Leap Motion的人机互动采集系统。利用Leap Motion精度高和使用方便的优势进行手写数字的采集，然后通过计算机进行采集数据预处理和特征提取。由于特征提取后每个手写数字由三个特征表示，因此可以简化模式库。
怎么判断自己是否怀孕［1］ZHOU Y， JIANG G，LIN Y.A novel finger and hand po estimation technique for real-time hand gesture recognition［J］.Pattern Recognition， 2016，49： 102-114.
［2］PISHARADY P K， SAERBECK M.Recent methods and databas in vision-bad hand gesture recognition： A review［J］.Computer Vision and Image Understanding， 2015，141： 152-165.
米芾书法作品［3］ ZHANG J， LI W， OGUNBONA P O， et al.RGBD-bad action recognition data
ts： A survey ［J］.Pattern Recognition， 2016，60： 86-105.
［4］LAMBERTI L， CAMASTRA F.Handy： a real-time three color glove-bad gesture recognizer with learning vector quantization［J］.Expert Systems with Applications， 2012，39（12）： 10489-10494.
我的家庭生活作文［5］JU Z， LIU H.Human hand motion analysis with multinsory information［J］.IEEE／ASME Transactions on Mechatronics，2014，19（2）： 456-466.
燕窝菜谱
［6］TUBAIZ N， SHANABLEH T， ASSALEH K.Glove-bad continuous Arabic sign language recognition in ur-dependent mode［J］.IEEE Transactions on Human-Machine Systems， 2015，45（4）： 526-533.
