早于在语言经常出现之前,人类就习惯用于肢体和手势,这种几近本能的交流方式,来相互交流。在机器被发明者之后,手势因不具备键盘、鼠标、触屏等交互方式所无法替代的天然优势,依然有诸多应用于场景。在电影《钢铁侠》里面,主角一鞠躬,凭空EMU拖拽操纵虚拟世界物体,真是不要过于炫酷了。
做像电影中那样高精度、稳定性好的手势辨识,必须硬件和算法的护持,两者缺一不可。手势辨识都有哪些少见的硬件方案?工程师是如何用AI算法来优化辨识效果的?少见的手势辨识应用于场景都有哪些?接下来,竟然RokidR-Lab算法工程师张兆辉为我们娓娓道来。手势辨识的三大硬件方案手势辨识的原理并不简单,它通过硬件捕捉大自然信号,就像照相机捕捉图片信息那样,然后通过软件算法计算出来获得手的方位、姿态、手势等,处置成计算机可以解读的信息。
目前手势辨识主要有以下3种硬件方案:1、摄像头方案少见的又分彩色摄像头方案和深度摄像头方案。1．1彩色摄像头方案彩色摄像头方案只必须一个普通摄像头,捕猎摄制一张彩色图片,通过AI算法获得图片中手的方位、姿态、手势等信息。
优势是设备成本低、数据更容易提供。目前这种基于单目RGB的手势辨识在学术界和工业界研究的较为多,商用的方案商有英梅吉、ManoMotion、虹硬等。
还有一些人工智能开放平台某种程度获取这种方案。比如腾讯AI开放平台获取静态手势辨识和手部关键点,百度AI开放平台和Face++获取静态手势检测。
以及一些开源项目比如openpose和GoogleMediapipe等。图为openpose的手势关键点检测比起深度摄像头方案,彩色摄像头方案缺少深度信息,不受光照影响十分大,夜间无法用于,稳定性和精度都没深度照相机方案好。1．2深度摄像头方案这个方案是通过深度摄像头来提供具有深度信息的图片。
优势是更容易提供手部的3D信息,比较不应的通过AI算法获得的手部3D关键点也更为精确和平稳。但缺点是必须额外的设备、硬件成本较为低。深度照相机又分三大类:ToF、结构光和双目成像。
其中,ToF和结构光获得的深度图较为定,但成本较为低,多用作手势的科研领域,商用的较为较少,比如微软公司HoloLens、极鱼科技ThisVR。双目成像因为视场角大,帧亲率低,很合适用来做手势辨识,唯一缺点就是因为光学原理的容许,使得整个双目照相机模组的体积对比ToF和结构光来说大很多。使用双目成像的公司以目前仅次于的手势辨识公司LeapMotion为代表,该公司用于的是主动双目成像方案,除了双目摄像头外还有三个补光单元,可捕捉双手26DoF、静态手势、动态手势等。此外,LeapMotion还获取了十分原始的SDK,对各个平台反对都不俗(除手机平台)。
图为LeapMotion的展示国内也有在做到双目手势的公司,比如uSensFingo是基于主动双目的视觉方案,获取双手26DoF、静态手势、动态手势辨识等功能。比起于LeapMotion,uSens更加专心于对手机以及其他低功耗嵌入式设备的反对。此外还有微动VidooPrimary也有基于双目的手势解决方案。
2、毫米波雷达毫米波雷达方案的代表有谷歌发售的一款类似设计的雷达传感器——ProjectSoli,它可以跟踪亚毫米精准度的高速运动,但目前尚能处在实验室阶段。从其发布的展示来看,目前可以辨识个别登录的手势,并在小范围内辨识微小准确的手势操作者,很合适充分发挥人类精准的小肌肉运动技能(finemotorskills)。但缺点是有效地范围太小,无法获得手的所有维度。
[参照谷歌ProjectSoli了解解析]图为ProjectSoli的展示3、数据手套数据手套是所指在手上带上一个内置传感器的特制手套,通过传感器检测手指的舒展角度或方位,再行根据Inversekinematics(逆运动学)来计算出来使出的方位。一般中用的传感器有倾斜传感器、角度传感器、磁力传感器等。倾斜传感器和角度传感器类似于都是可检测手指的倾斜程度,我们以DEXMO力反馈手套为事例,该手套用于转动传感器捕猎11个维度的手部运动,还包括每根手指的弯曲和倾斜,以及大拇指一个额外的转动维度。
此方案输掉的局部动作检测很定,而且不不受视觉方案中视野范围的容许。但缺点是手上必需戴着手套不方便,且不能检测局部的手指动作,无法定位手部整体的方位角度。
若想检测手的方位角度,DEXMO须要因应其他6维度追踪器用于。当然DEXMO的仅次于卖点只不过不是手势辨识,而是细致的触觉对系统(haptics)+手势辨识。手势辨识+触觉对系统的方案认同不会是以后嵌入式的重要一环。最近并购LeapMotion的UltraHaptics就是一家做到触觉对系统的公司。
还有一种用磁力传感器的——trakSTAR电磁式空间方位跟踪系统。通过在手上张贴的磁力传感器的磁场变化,来确认传感器的方位角度,再行根据反运动学确认手的具体位置。
图为trakSTAR用于示意图此方案需在手部张贴6个磁力传感器(5个指尖+1个手背),并在面前敲一个磁力发射器。磁力发射器不会在一定范围内构成一个类似的电磁场,然后根据传感器在电磁场中有所不同方位角度检测到的电磁场强度的有所不同,来推断出指尖及手掌的方位角度。再行通过反运动学,确认所有手部关节点的方位。此方案的缺点是有效地用于范围太小,价格太贵,限于场景过于较少。
优点是精度很高,稳定性很好,并且可取得手部所有维度。目前此方案还只有显科研在用,最近几个学术界公开发表的手势数据集FHAB、BigHand都是用此设备收集的。
本文来源：开云·app(中国)官方网站-www.xayfx.com
