一种基于深度图像的手势识别算法

第４１卷第２期　２２　２０１４年４月２５日　数字通信　Ｖｏｌ　４１．Ｎｏ．２　Ａｐｒ．２５　２０１４　Ｄｉｇｉｔａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３８２４．２０１４．０２．００６　一种基于深度图像的手势识别算法　孟上，高陈强，杨璐毓　（重庆邮电大学信号与信息处理重庆市重点实验室，苇庆４０００６５）　摘要：利用Ｋｉｎｅｃｔ捕捉深度图像，使用有效的手势分割手段将手势区域截取并运用相关算法对手势进行轮廓、凸　包及其最小外接圆提取；然后构建了４种手势特性参数并给出了４种参数的计算方法；最后综合手势特性参数构　建分类决策树以实现手势识别。实验针对９种常见手势在复杂背景条件下进行测试，单个手势识别率在８９％一　１００％之间，综合识别率达到９６％。　关键词：手势识别；Ｋｉｎｅｃｔ传感器；人机交互　中图分类号：ＴＰ３９１．４　文献标识码：Ａ　文章编号：１００５．３８２４（２０１４）０２－００２２－０５　０　引　言　手势识别在人机交互的发展过程中起着不可或　因素的影响，目前提出的识别方法都有各种缺点很　难在实际中应用。　为了能够克服上述缺点，本文提出了一种新的　缺的作用，是实现真正自然的人机交互的一个至关　重要的技术。该技术利用各类图像，使得机器能够　经过处理获得人类手势信息，进行相应的手势识别，　从而达到人机自然交互的目的。这项关键技术在人　基于深度图像的手势识别方法：首先利用有效的分　割算法分割手势区域，进而提取该区域轮廓、凸包及　其最小外接圆；然后计算手势特性参数；最后综合手　势特性参数构建分类决策树以实现手势识别。同　时，利用复杂背景条件下的９种常见手势真实数据　机交互领域应用十分广泛：如手术室、展示厅等不方　便使用外设输入设备的场合。由于巨大的应用前　景，手势识别成为目前研究的热点，出现了许多研究　方法，如杨波等针对复杂背景采用空问分布特征对　手势进行识别¨Ｊ，这种方法尽管在理想状态下识别　对该方法进行测试，实验结果表明该方法具有有效　性。　１手势区域切割及轮廓、凸包提取　手势识别的整体流程如图１所示。在进行手势　识别之前，必须先对手势区域进行有效分割，以确保　明显的手势特征能够被深度传感器采集捕捉，并且　不受身体其他部位干扰。另外，为实现本文提出的　率不错，但是其识别率受到光线强弱极大的影响；　Ｆｒａｔｉ提出了利用数据手套进行手势识别的方法　，　该方法尽管准确率能够得到保证，但是用户体验并　不是十分友好。近年来，由于硬件厂商在自然人机　交互设备开发上付出了努力，成功地开发出了一系　列深度图像传感器，如Ｍｉｃｒｏｓｏｆｔ的Ｋｉｎｅｃｔ等。这使　得基于深度图像的手势识别成为了又一个研究热　点，如Ｚｈｏｕ　Ｒｅｎ提出的利用Ｋｉｎｅｃ－ｔ基于手指的　ＥＭＤ的鲁棒性手势识别方法　Ｊ。基于Ｋｉｎｅｃｔ深度　图像的方法相较于前述的数据手套以及基于ＲＧＢ　手势识别方法，需要计算特征参数。这些参数需要　利用手势轮廓及凸包进行计算，故而需先行对采集　深度图像进行预处理。　图像有很大的改进，用户体验以及抗干扰性都有提　升。尽管如此，该领域研究还处于初级阶段，如李瑞　峰等　提出的手势识别方法无法很好地识别例如　握拳、五指并拢的手掌类没有单独手指显现特征的　常用手势，而Ｙａｎ　Ｗｅｎ　的方法则无法识别具体的　手势。由于受硬件性能以及手势的复杂程度等客观　收稿日期：２０１３—０８—１３　修回日期：２０１３—０９—０６　图１整体流程图　１．１手势区域分割　本文中所做实验采集数据由Ｋｉｎｅｃｔ传感器采　集得到，其空间分辨率为３２０×２４０。数据采集过程　第２期　孟上等：一种基于深度图像的手势识别算法　２５　圆相切手指数近似等于　＋１。如图７所示，（４）所　示手势与（７）所示手势有效凸缺陷数相同，且特性　角都为钝角，ＣＣＲ并无明显差别，但（７）手势与凸包　有效外接圆顶点数为２，所以凸包有效外接圆顶点　数能够有效区分图示２种手势。　２．２手势分类与决策　根据以上４种特性参数的连判，可分类识别９种　势不标准或因手势与传感器角度不同产生的误判，　当且仅当ＤＣＤ＝３，且其所有ＤＣＤＡ＜９０。时识别为　手势８，否则识别为手势９；当ＤＣＤ＝２时，若其所有　ＤＣＤＡ＞９０。则识别为手势６，仅有１个ＤＣＤＡ＜９０。时　识别为手势５，全部ＤＣＤＡ＜９０。时，识别为手势９；当　ＤＣＤ＝１时，若该ＤＣＤＡ为锐角，则识别为手势５（为　防止用户做手势３时大拇指并不拢，当ＣＣＲ＞０．４５　时，判定为手势３，原因：手掌手势３投影面积大于　手势５投影面积，且此二组手势凸包外接圆面积近　常见手势。首先建立分类决策树，其识别流程如图８　所示。根据ＤＣＤ参数对不同手势第一次加以区分；　对于ＤＣＤ参数相同的手势再通过ＤＣＤＡ参数区分；　若依然无法区别则利用ＣＣＲ参数区分；最后使用ＣＤ－　为参数加以区分。手势１能够通过ＤＣＤ参数唯　一似。）若该ＤＣＤＡ为钝角，且ＣＤＶＣ＝２，则识别为手　势７，否则识别为手势４；当ＤＣＤ＝０时，若ＣＣＲ＞０．５５　则识别为手势２，若０．５５＞ＣＣＲ＞０．３５则识别为手　势３，为了防止手势角度等误判，ＣＣＲ＜０．３５时，识别　为手势４。至此，图７所示全部９种手势即可识别。　地识别且其ＤＣＤ≥４；在理想条件下，手势９的　一　ＤＣＤ＝２，手势８的ＤＣＤ＝３，但为了识别因用户手　手势表观特征　ＩＤＣＤ＝０　／ｌＤＣＤ＝４　——人、／！—一　ＣＣＲ＜Ｏ．５５＞　＼　、否　否　手势１　ｌ　Ｉ是　广．—土＿一　≥　ｌ１　＜　ＣＤ　＝２、、ｌ是　ｌ手势６１　Ｉ　ｌ手势９　ｌ手势２ｌ　否　——　／　　ｌ　ｌｌ是　一———！一　手势７　ｌ　ｌ手势４　ｌ是　ｌ手势３｝　ｌ手势　５　ｌ是　ｌ　冈　２．３手势的旋转与缩放　体其他肤色区域所干扰，手势所在平面位置对测试　结果并无影响。　为了做到用户友好，手势识别应不受手势旋转　角度以及手势区域远近的影响。由于本算法使用　ＤＣＤ、ＣＣＲ参数为比值，这使得本文方法具有良好的　自适应性；ＤＣＤＡ与ＣＤＶＣ参数本身即具有缩放以　及旋转不变性，故而能够在手势旋转及缩放状况下　准确识别手势，不受影响。　为了验证本文所述方法之有效性，针对图７中　９种手势进行识别实验，由５人在不同光线以及不　同背景条件下对每种手势做２０次，每人计１８０次，５　人共计９００次。表１中第一列为输入采样手势类　型，对应第２列至第９列为系统识别的手势类型。　从表１中可以看出手势识别结果，手势５，９识别率　３实验及分析　由于本文所用方法采用红外深度数据，对光线　１００％，手势８与１识别率为９９％。手势２，３，４，６，７　不敏感，故而在不同光线背景下测试对结果无任何　影响。另一方面，基于ＲＧＢ摄像头的手势识别容易　将手势区域与其他肤色区域产生混淆，而本文方法　采用深度图像进行识别，且前章提到手势区域与其　他身体区域处于不同深度级，因此手势并不会被身　识别率分别为９６％，９３％，９６％，８９％，９２％，其中３，　６，７由于不同人对于该手势表达形式有较大差异，　故而识别率偏低。综上，从表１中得出对于图７的９　种常用手势的平均识别率为９６％，相比空间分布特征　的手势识别算法（在普通光照条件下识别率为９５．４％，　强光及弱光背景条件下测试效果为１３．６％）　，本　文所提出的方法有较大优势。　２６　数字通信　［２］　９　第４１卷　ＦＲＡＴＩ　Ｖ．ＰＲ　Ｉ。Ｉ’ＩＣＨＩＺＺＯ　Ｄ．Ｕｓｉｎｇ　Ｋｉｎｅｃｔ　ｆｏｒ　ｈａｎｄ　本文利用的设备为Ｋｉｎｅｃｔ　ＸＢＯＸ版本，通过　２。４　６　ＵＳＢ与电脑进行连接传输数据，采样图片分辨率为　３２０　ｘ２４０像素，识别速度可达３０帧／ｓ，能够满足实　ｔｒａｃｋｉｎｇ　ａｎｄ　ｒｅｎｄｅｒｉｎｇ　ｉｎ　ｗｅａｒａｂｌｅ　ｈａｐｔｉｃｓ［Ｃ］／／ｗｏｒＩｄ　Ｈａｐｔｉｃｓ　Ｃｏｎｆｅｆｅｎｃｅ（ＷＨＣ），２０１　１　ＩＥＥＥ．Ｉｓｔａｎｂｕｌ：　ＩＥＥＥ，２０１１：３１７—３２１．　时识别的要求。除此之外，由于本方法算法复杂度　６　［３］　ＲＥＮ　Ｚｈｏｕ，ＹＵＡＮ　Ｊｕｎｓｏｎｇ，ＺＨＡＮＧ　Ｚｈｅｎｇｙｏｕ．Ｒｏｂｕｓｔ　ｈａｎｄ　ｇｅｓｔｕｒｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｆｉｎｇｅｒ—ｅａｒｔｈ　ｍｏｖｅｒ　Ｓ　较低，可以利用多次连判的方法来进一步提高手势　４　４　识别准确性。　４％　表１　各个手势识别的识别手势结果以及综合识别正确率　ｌ　５　３　ｄｉｓｔａｎｃｅ　ｗｉｔｈ　ａ　ｃｏｍｍｏｄｉｔｙ　ｄｅｐｔｈ　ｃａｍｅｒａ［Ｃ］／／Ｐｒｏｃｅｅｄ—　ｉｎｇｓ　ｏｆ　ｔｈｅ　１９ｔｈ　ＡＣＭ　ｉｎｔｅｒｎａｔｉｏｎａｌ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍｕｌｔｉ—　ｍｅｄｉａ．Ｎｅｗ　Ｙｏｒｋ：ＡＣＭ，２０１　ｌ：１０９３—１０９６．　手势编号　识别率　ｌ　２　３　４　５　６　７　８　９４　［４］　李瑞峰，曹雏清，王丽．基于深度图像和表观特征的　手势ｉＹ，ＪｊＩＪ［Ｊ］．华中科技大学学报：自然科学版，２０１１　（２）：３２５—３２９．　／％　６　［５］　１　１　ＷＥＮ　Ｙａｎ，ＨＵ　Ｃｈｕａｎｙａｎ，ＹＵ　Ｇｕａｎｇｈｕｉ，ｅｔ　ａ１．Ａ　ｒｏｂｕｓｔ　ｍｅｔｈｏｄ　ｏｆ　ｄｅｔｅｃｔｉｎｇ　ｈａｎｄ　ｇｅｓｔｕｒｅｓ　ｕｓｉｎｇ　ｄｅｐｔｈ　ｓｅｎｓｏｒｓ　『Ｃ］／／Ｈａｐｔｉｃ　Ａｕｄｉｏ　Ｖｉｓｕａｌ　Ｅｎｖｉｒｏｎｍｅｎｔｓ　ａｎｄ　Ｇａｍｅｓ　（ＨＡＶＥ），２０１２　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｗｏｒｋｓｈｏｐ　ｏｎ．Ｍｕ—　％　％　ｎｉｃｈ：ＩＥＥＥ，２０１２：７２—７７．　％　　Ｓ．Ｔｏｐｏｌｏｇｉｃａｌ　ｓｔｒｕｃｔｕｒａｌ　ａｎａｌｙｓｉｓ　ｏｆ　ｄｉｇｉｔｉｚｅｄ　ｂｉ—　［６］　ＳＵＺＵＫＩｎａｒｙ　ｉｍａｇｅｓ　ｂｙ　ｂｏｒｄｅｒ　ｆｏｌｌｏｗｉｎｇ［Ｊ］．Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｇｒａｐｈｉｃｓ，ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，１９８５，３０（１）：３２－４６．　［７］　ＨＯＭＭＡ　Ｋ，ＴＡＫＥＮＡＫＡ　Ｅ．Ａｎ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ｍｅｔｈ—　ｏｄ　ｆｏｒ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　ｏｆ　ｓｐａｃｅ—ｏｃｃｕｐｙｉｎｇ　ｌｅｓｉｏｎｓ［Ｊ］．　Ｊｏｕｒｎａｌ　ｏｆ　Ｎｕｃｌｅａｒ　Ｍｅｄｉｃｉｎｅ：Ｏｆｉｃｉａｌｆ　Ｐｕｂｌｉｃａｔｉｏｎ，Ｓｏｃｉｅｔｙ　４　结　论　本文提出了一种全新的手势识别方法。该方法　提取有关手掌表观的４个特性参数：ＤＣＤ，ＤＣＤＡ，　ＣＣＲ，ＣＤＶＣ，利用此４种参数对手势进行连判，实验　结果证实了本方法的有效性。由于本文的方法复杂　ｏｆ　Ｎｕｃｌｅａｒ　Ｍｅｄｉｃｉｎｅ，１９８５，２６（１２）：１４７２．　［８］　ＺＨＡＮＧ　Ｚｈｅｎｇｙｏｕ．Ｐａｒａｍｅｔｅｒ　ｅｓｔｉｍａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅｓ：Ａ　ｔｕｔｏｒｉａｌ　ｗｉｔｈ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｃｏｎｉｃ　ｆｉｔｔｉｎｇ［Ｊ］．Ｉｍａｇｅ　ａｎｄ　Ｖｉｓｉｏｎ　Ｃｏｍｐｕｔｉｎｇ，１９９７，１５（１）：５９－７６．　［９］　ＢＲＡＤＳＫＩ　Ｇ，ＫＡＥＨＬＥＲ　Ａ．Ｌｅａｒｎｉｎｇ　ＯｐｅｎＣＶ：Ｃｏｍ—　ｐｕｒｅｒ　Ｖｉｓｉｏｎ　ｗｉｔｈ　ｔｈｅ　ＯｐｅｎＣＶ　Ｌｉｂｒａｒｙ［Ｍ］．［ｓ．１．］：Ｏ　Ｒｅｉｌｌｙ　Ｍｅｄｉａ，Ｉｎｃｏｒｐｏｒａｔｅｄ，２００８．　度低，所以可以用在展示厅以及多种需要自然人机　交互的场合，具有很好的应用前景。　参考文献：　［１］　杨波，宋晓娜，冯志全，等．复杂背景下基于空间分布　作者简介：　孟上（１９８９－－），男，山东青岛人，硕士研究生，主要研　究方向为图像处理、计算机视觉等，Ｅ—ｍａｉｌ：ｍｅｒｔｏｎｍｒｎｇ＠　ｇｍａｉｌ．ｃｏｎ。　基金项目：国家自然科学基金（６１１０２１３１）；重庆市科委自然　科学基金计划资助项目（ＣＳＴＣ，２０１０ＢＢ２４１１）；重庆市大学生　创新创业训练计划项目（２０１２０６１７００８）　特征的手势识别算法［Ｊ］．计算机辅助设计与图形学　学报，２０１０，２２（１０）：１８４１—１８４８．　Ｍｅｔｈｏｄ　ｏｆ　ｇｅｓｔｕｒｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｄｅｐｔｈ　ｉｍａｇｅ　ＭＥＮＧ　Ｓｈａｎｇ，ＧＡＯ　Ｃｈｅｎｑｉａｎｇ，ＹＡＮＧ　Ｌｕｙｕ　（Ｃｈｏｎｇｑｉｎｇ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｓｉｇｎａｌ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，Ｃｈｏｎｇｑｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｐｏｓｔｓ　ａｎｄ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ　４０００６５，Ｐ．Ｒ．Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｆｏｃｕｓｅｓ　Ｏｉｌ　ｄｅｔａｉｌｅｄ　ｈａｎｄ　ｒｅｃｏｇｎｉｔｉｏｎ　ｕｓｉｎｇ　ｔｈｅ　ｄｅｐｔｈ　ｉｍａｇｅ　ｐｒｏｖｉｄｅｄ　ｂｙ　Ｋｉｎｅｃｔ　ｓｅｎｓｏｒ．Ｔｈｅ　ａｕｔｈｏｒｓ　ｉｆｒｓｔ　ｓｅｇｍｅｎｔ　ｔｈｅ　ｈａｎｄ　ｇｅｓｔｕｒｅ　ａｒｅａ　ａｎｄ　ｆｉｎｄ　ｔｈｅ　ｃｏｎｔｏｕｒ　ａｎｄ　ｃｏｎｖｅｘ　ｈｕｌｌ　ｏｆ　ｈａｎｄ　ｓｈａｐｅ，ａｎｄ　ｔｈｅｉｒ　ｅｎｃｌｏｓｉｎｇ　ｃｉｒｃｌｅ；ｓｅｃｏｎｄ，　ｗｅ　ｃａｌｃｕｌａｔｅ　ｆｏｕｒ　ｆｅａｔｕｒｅ　ｐａｒａｍｅｔｅｒｓ　ｏｆ　ｄｅｔｅｃｔｅｄ　ｃｏｎｔｏｕｒ　ａｎｄ　ｃｏｎｖｅｘ　ｈｕｌｌ；ｆｉｎａｌｌｙ，ｗｅ　ｕｓｅ　ｔｈｅｓｅ　ｐａｒａｍｅｔｅｒｓ　ｔｏ　ｂｕｉｌｄ　ａ　ｄｅｃｉ—　ｓｉｏｎ　ｔｒｅｅ　ｔｏ　ｒｅａｌｉｚｅ　ｔｈｅ　ｈａｎｄ　ｇｅｓｔｕｒｅ　ｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓ　ｍｅｔｈｏｄ，ｗｈｉｃｈ　ｃａｎ　ｒｅｃｏｇｎｉｚｅ　９　ｔｙｐｅｓ　ｏｆ　ｄａｉｌｙ　ｇｅｓｔｕｒｅｓ，ｈａｓ　ｂｅｅｎ　ｔｅｓｔ—　ｅｄ，ａｎｄ　ｔｈｅ　ａｃｃｕｒａｃｙ　ｏｆ　ｉｎｄｉｖｉｄｕａｌ　ｇｅｓｔｕｒｅ　ｔｙｐｅ　ｉｓ　ｆｒｏｍ　８９％ｔｏ　１００％ｗｈｉｌｅ　ｔｈｅ　ｃｏｍｂｉｎｅｄ　ａｃｃｕｒａｃｙ　ｏｆ　ｇｅｓｔｕｒｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｉｓ　９６％．　Ｋｅｙ　ｗｏｒｄｓ：ｇｅｓｔｕｒｅ　ｒｅｃｏｇｎｉｔｉｏｎ，Ｋｉｎｅｃｔ　ｓｅｎｓｏｒ，ｈｕｍａｎ　ｃｏｍｐｕｔｅｒ　ｉｎｔｅｒａｃｔｉｏｎ　（责任编辑迟蕾）