VR和AR中手勢(shì)交互的應(yīng)用是怎樣落地的

2019年12月5日，由中國(guó)通信工業(yè)協(xié)會(huì)虛擬現(xiàn)實(shí)專業(yè)委員會(huì)、由中國(guó)通信工業(yè)協(xié)會(huì)區(qū)塊鏈專業(yè)委員會(huì)、廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo)，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競(jìng)、陀螺財(cái)經(jīng)、深圳區(qū)塊鏈技術(shù)與產(chǎn)業(yè)創(chuàng)新聯(lián)盟聯(lián)合的主辦2019未來(lái)商業(yè)生態(tài)鏈接大會(huì)暨第四屆金陀螺獎(jiǎng)?lì)C獎(jiǎng)典禮（簡(jiǎn)稱“FBEC2019”），在深圳市南山區(qū)深圳灣1號(hào)T7座鵬瑞萊佛士酒店宴會(huì)廳開(kāi)幕。本屆大會(huì)以“蝶變 · 向上的力量”為主題，將一如既往的關(guān)注未來(lái)趨勢(shì)發(fā)展、行業(yè)創(chuàng)新升級(jí)、商業(yè)生態(tài)新鏈接等前沿領(lǐng)域。

本次大會(huì)邀請(qǐng)到凌感科技聯(lián)合創(chuàng)始人&CTO費(fèi)越帶來(lái)主題為“VR和AR中手勢(shì)交互的應(yīng)用落地和市場(chǎng)分析”精彩分享。

以下為演講實(shí)錄：

我會(huì)講一下我們自己的心得，包括從技術(shù)上，一直到人的交互方式，還有落地方面。大家有任何問(wèn)題，可以隨時(shí)提問(wèn)，一起探討。

人類(lèi)交互行為的分類(lèi)

人的交互行為，整個(gè)計(jì)算機(jī)是從比較被動(dòng)、比較機(jī)械式的交互往自然交互發(fā)展，自然交互主要是語(yǔ)音、面部、肢體、手勢(shì)等等。在自然交互中，語(yǔ)音是少于45%，而更多的是非語(yǔ)音的，大概在55%。

手部的所有交互中，基本分為三類(lèi)：

第一類(lèi)是空中做一個(gè)手勢(shì)，向另外一個(gè)人表達(dá)一個(gè)意思，這兩個(gè)人之間沒(méi)有任何接觸，手也不做任何操作，而是表達(dá)一個(gè)抽象的語(yǔ)義，比如說(shuō)OK；

第二種手勢(shì)交互是手握著一個(gè)工具，比如榔頭、槍；

第三種是更加隨機(jī)、更加自然的，比如用手隨機(jī)地握著不同的物體，或者是靠不同的方式，靠摩擦、彈性等做各種自然交互，這是最難描述的，也是最難用任何工具來(lái)模擬。

交互是一個(gè)介于好的內(nèi)容和好的硬件之間一個(gè)重要的部分，1990年曾經(jīng)有一個(gè)VR的高潮，斯坦福的一位教授去年說(shuō)，現(xiàn)在整個(gè)VR依然最需要的解決的五個(gè)問(wèn)題都是來(lái)自于跟蹤，對(duì)于人不同肢體部分的跟蹤，包括跟蹤的質(zhì)量。

過(guò)去計(jì)算機(jī)的理解力和表達(dá)力不動(dòng)等，現(xiàn)在計(jì)算機(jī)的理解能力和表達(dá)能力越來(lái)越強(qiáng)，現(xiàn)在可以基本對(duì)話，下一步解決的是視覺(jué)、面部、肢體、手勢(shì)可以和計(jì)算機(jī)對(duì)等的交互，你已經(jīng)分辨不出來(lái)對(duì)面是一個(gè)計(jì)算機(jī)還是人。

交互技術(shù)的分類(lèi)

唯一能夠支持所有人的交互的只有三維的手的跟蹤，無(wú)論是通過(guò)手套還是視覺(jué)上。從用戶的易用性上來(lái)看，手套的表達(dá)能力是非常強(qiáng)的，但是易用性差一些，目前最容易使用的就是通過(guò)計(jì)算機(jī)視覺(jué)使用的。

1. 簡(jiǎn)單的命令型的手勢(shì)：從2010-2015年，用于遙控電視，但是反響不佳，停產(chǎn)。因?yàn)槊钐?，用戶記不住，命令少又沒(méi)有什么用，而且識(shí)別率也有問(wèn)題，不是很精準(zhǔn)。同時(shí)，2016年也有一些手機(jī)平板，但是后來(lái)也看不到了，沒(méi)有這些功能了，就是一些噱頭。

2. 簡(jiǎn)單命令手勢(shì)+2D指向：HoloLens用戶反響不是太好，用戶吐槽，這個(gè)東西好，但是不好用。

3.3D骨骼等自然交互：到了今年HoloLens 2，大家才說(shuō)反響非常好。3D手勢(shì)交互，未來(lái)可以帶來(lái)的自然交互體驗(yàn)，手勢(shì)完全可以隨意地做，可以做和日常天衣無(wú)縫的動(dòng)作。當(dāng)然，手柄在設(shè)計(jì)中還是具有天然的優(yōu)勢(shì)。有一些游戲比較有創(chuàng)意，雖然是設(shè)計(jì)游戲，加入了一些非設(shè)計(jì)的動(dòng)作，可以隨時(shí)打人，可以抓子彈、刀子之類(lèi)的。特別是登山游戲，人手的動(dòng)作要張開(kāi)來(lái)抓巖石。

手勢(shì)技術(shù)的落地

主要有教育領(lǐng)域、游戲和娛樂(lè)領(lǐng)域、醫(yī)療領(lǐng)域、工業(yè)設(shè)計(jì)領(lǐng)域、消費(fèi)領(lǐng)域。購(gòu)物方面，如果有VR的話，我們看的東西非常真實(shí)，有手勢(shì)會(huì)使人更加身臨其境的感覺(jué)，各個(gè)角度去看，增加購(gòu)買(mǎi)力。

訓(xùn)練、仿真方面，軍事太空人訓(xùn)練應(yīng)用，模擬到了火星上之后，宇航員怎么樣打開(kāi)門(mén)在基地上行走做各種動(dòng)作等等。

旅游、博物館方面，比如給兵馬俑加上顏色，讓人體驗(yàn)回到2000年前和兵馬俑的互動(dòng)，或者怎么制作兵馬俑，這些游戲讓游客上手立刻就可以應(yīng)用。

工程、設(shè)計(jì)方面，可以拆解模型，可以說(shuō)話，旋轉(zhuǎn)；教育、實(shí)驗(yàn)面，有危險(xiǎn)的物理試驗(yàn)、化學(xué)實(shí)驗(yàn)，都可以虛擬環(huán)境中做一遍實(shí)驗(yàn)。