虛擬現(xiàn)實中手勢識別的硬件解決方案

（文章來源：VR陀螺網(wǎng)）

早在語言出現(xiàn)之前,人類就習(xí)慣使用肢體和手勢,這種近乎本能的溝通方式,來互相交流。在機器被發(fā)明之后,手勢因具備鍵盤、鼠標(biāo)、觸屏等交互方式所無法替代的天然優(yōu)勢,仍然有諸多應(yīng)用場景。在電影《鋼鐵俠》里面,主角一揮手,憑空推拉拖拽操控虛擬物體,簡直不要太炫酷了。做到像電影中那樣高精度、穩(wěn)定性好的手勢識別,需要硬件和算法的加持,兩者缺一不可。

手勢識別都有哪些常見的硬件方案?工程師是如何用 AI 算法來優(yōu)化識別效果的?常見的手勢識別應(yīng)用場景都有哪些?接下來,就讓 Rokid R-Lab 算法工程師張兆輝為我們娓娓道來。手勢識別的原理并不復(fù)雜,它通過硬件捕獲自然信號,就像相機捕獲圖片信息那樣,然后通過軟件算法計算得到手的位置、姿態(tài)、手勢等,處理成計算機可以理解的信息。

彩色攝像頭方案只需要一個普通攝像頭,捕捉拍攝一張彩色圖片,通過 AI 算法得到圖片中手的位置、姿態(tài)、手勢等信息。優(yōu)勢是設(shè)備成本低、數(shù)據(jù)容易獲取。目前這種基于單目 RGB 的手勢識別在學(xué)術(shù)界和工業(yè)界研究的比較多,商用的方案商有英梅吉、ManoMotion、虹軟等。

還有一些人工智能開放平臺同樣提供這種方案。比如騰訊 AI 開放平臺提供靜態(tài)手勢識別和手部關(guān)鍵點,百度 AI 開放平臺和 Face++ 提供靜態(tài)手勢檢測。以及一些開源項目比如 openpose 和 Google Mediapipe 等。相比深度攝像頭方案,彩色攝像頭方案缺乏深度信息,受光照影響非常大,夜間無法使用,穩(wěn)定性和精度都沒有深度相機方案好。

這個方案是通過深度攝像頭來獲取帶有深度信息的圖片。優(yōu)勢是更容易獲取手部的 3D 信息,相對應(yīng)的通過 AI 算法得到的手部 3D 關(guān)鍵點也更加準(zhǔn)確和穩(wěn)定。但缺點是需要額外的設(shè)備、硬件成本比較高。深度相機又分三大類:ToF、結(jié)構(gòu)光和雙目成像。其中,ToF 和結(jié)構(gòu)光得到的深度圖比較準(zhǔn),但成本比較高,多用于手勢的科研領(lǐng)域,商用的比較少,比如微軟 HoloLens、極魚科技 ThisVR。

雙目成像因為視場角大,幀率高,很適合用來做手勢識別,唯一缺點就是因為成像原理的限制,使得整個雙目相機模組的體積對比 ToF 和結(jié)構(gòu)光來說大很多。采用雙目成像的公司以目前最大的手勢識別公司 Leap MoTIon 為代表,該公司使用的是主動雙目成像方案,除了雙目攝像頭外還有三個補光單元,可捕獲雙手 26DoF、靜態(tài)手勢、動態(tài)手勢等。此外,Leap MoTIon 還提供了非常完整的 SDK,對各個平臺支持都不錯(除手機平臺)。

國內(nèi)也有在做雙目手勢的公司,比如 uSens Fingo 是基于主動雙目的視覺方案, 提供雙手 26DoF、靜態(tài)手勢、動態(tài)手勢識別等功能。相比于 Leap MoTIon,uSens 更專注于對手機以及其他低功耗嵌入式設(shè)備的支持。此外還有微動 Vidoo Primary 也有基于雙目的手勢解決方案。

毫米波雷達方案的代表有谷歌推出的一款特殊設(shè)計的雷達傳感器—— Project Soli ,它可以追蹤亞毫米精準(zhǔn)度的高速運動,但目前尚處在實驗室階段。從其公布的演示來看,目前可以識別個別指定的手勢,并在小范圍內(nèi)識別微小精確的手勢操作,很適合發(fā)揮人類精準(zhǔn)的小肌肉運動技能(fine motor skills)。但缺點是有效范圍太小,無法得到手的所有自由度。

數(shù)據(jù)手套是指在手上帶一個內(nèi)置傳感器的特制手套,通過傳感器檢測手指的屈伸角度或位置,再根據(jù) Inverse kinemaTIcs(逆運動學(xué))來計算出手的位置。一般用到的傳感器有彎曲傳感器、角度傳感器、磁力傳感器等。彎曲傳感器和角度傳感器類似都是可檢測手指的彎曲程度,我們以 DEXMO 力反饋手套為例,該手套使用旋轉(zhuǎn)傳感器捕捉 11 個自由度的手部運動,包括每根手指的伸展和彎曲,以及大拇指一個額外的旋轉(zhuǎn)自由度。

此方案對手的局部動作檢測很準(zhǔn),而且不受視覺方案中視野范圍的限制。但缺點是手上必須戴手套不方便,且只能檢測局部的手指動作,不能定位手部整體的位置角度。若想要檢測手的位置角度, DEXMO 需配合其他 6 自由度追蹤器使用。

當(dāng)然 DEXMO 的最大賣點其實不是手勢識別,而是逼真的觸覺反饋(haptics)+手勢識別。手勢識別+觸覺反饋的方案肯定會是以后人機交互的重要一環(huán)。最近收購 Leap Motion 的 UltraHaptics 就是一家做觸覺反饋的公司。還有一種用磁力傳感器的——trakSTAR 電磁式空間位置追蹤系統(tǒng)。通過在手上貼的磁力傳感器的磁場變化,來確定傳感器的位置角度,再根據(jù)反運動學(xué)確定手的具體位置。

此方案需在手部貼 6 個磁力傳感器(5個指尖+1個手背),并在面前放一個磁力發(fā)射器。磁力發(fā)射器會在一定范圍內(nèi)形成一個特殊的電磁場,然后根據(jù)傳感器在電磁場中不同位置角度檢測到的電磁場強度的不同,來推斷出指尖及手掌的位置角度。再通過反運動學(xué),確定所有手部關(guān)節(jié)點的位置。

此方案的缺點是有效使用范圍太小,價格太貴,適用場景太少。優(yōu)點是精度很高,穩(wěn)定性很好,并且可獲得手部所有自由度。目前此方案還只有純科研在用,最近幾個學(xué)術(shù)界公開的手勢數(shù)據(jù)集 FHAB、 BigHand 都是用此設(shè)備采集的。
? ? ?