Nreal聯(lián)合Clay AIR 新增手勢追蹤功能

2020年3月8日消息，Nreal宣布與Clay AIR合作，在Nreal Light上新增手勢追蹤功能，同時(shí)結(jié)合新的內(nèi)容，強(qiáng)化與德國DT（Deutsche Telekom）等歐盟運(yùn)營商的合作關(guān)系。

與Clay AIR合作，Nreal Light新增手勢追蹤功能

通常，手勢追蹤需要增加專用的手勢追蹤模塊或者傳感器才能實(shí)現(xiàn)，而隨著計(jì)算機(jī)視覺的發(fā)展，使用普通2D攝像頭，加上算法識(shí)別也開始能夠?qū)崿F(xiàn)較為精準(zhǔn)的手勢操作。Nreal不是第一款獲得手勢追蹤功能的MR眼鏡。微軟的HoloLens 2和Magic Leap One都具有此功能，但這是第一款不借助深度傳感器視線手勢追蹤的MR眼鏡，就像Oculus Quest是第一款實(shí)現(xiàn)的移動(dòng)VR頭顯一樣。沒有硬件獲取深度信息的實(shí)時(shí)手部跟蹤要困難得多，這需要先進(jìn)的機(jī)器學(xué)習(xí)算法。

而Clay AIR，就是一家不需要增加深度攝像頭等硬件模塊，通過軟件算法就能實(shí)現(xiàn)手勢操作的軟件公司。Clay AIR在2018年曾經(jīng)與高通合作，為OEM提供關(guān)鍵交互技術(shù)，以加速AR&VR設(shè)備的采用。這是該公司在AR&VR頭戴式顯示器（HMD）中實(shí)現(xiàn)標(biāo)準(zhǔn)化手動(dòng)跟蹤功能的重要目標(biāo)的一部分。據(jù)了解，通過Clay的軟件算法，已經(jīng)可以識(shí)別包括拿、捏、抓、輕掃等超過30種用戶的手勢動(dòng)作，從而操縱虛擬物體，與MR環(huán)境更直觀地進(jìn)行交互。

基于Nreal Light上用于Slam的攝像頭傳感器，加上Clay AIR的軟件算法，識(shí)別出用戶的真實(shí)手部骨骼后，將3D手部模型以全高清方式進(jìn)行疊加，并通過機(jī)器學(xué)習(xí)對用戶手指和手部動(dòng)作的實(shí)時(shí)變化進(jìn)行跟蹤和渲染。由于Nreal Light能夠連接搭載高通驍龍855及以上平臺(tái)的5G智能手機(jī)運(yùn)行，不僅能夠?qū)崟r(shí)流暢地計(jì)算手勢動(dòng)作、對圖形進(jìn)行渲染，同時(shí)手機(jī)供電也確保了更強(qiáng)的電池續(xù)航能力。

據(jù)了解，手勢識(shí)別功能將在近期通過Nreal SDK提供給開發(fā)者，應(yīng)用在支持Nreal 3D系統(tǒng)星云的安卓應(yīng)用程序中。通過Nreal SDK，開發(fā)人員可以進(jìn)行手勢追蹤的自定義，包括重塑或渲染全手、單獨(dú)的手指、邊界框、光標(biāo)或自定義外觀，前期完全支持的手勢包括捏、指向、抓取、滑動(dòng)和縮放。

在MR體驗(yàn)中，手勢操作被視為是最自然的交互方式，為了追求更流暢的用戶體驗(yàn)，Nreal此次Clay AIR的手勢追蹤功能引入到Nreal Light上來，不僅能降低操作的學(xué)習(xí)門檻，還能提升用戶體驗(yàn)的靈活性。

“通過提供手勢追蹤功能，Nreal為Nreal Light 消費(fèi)者版的開發(fā)人員和用戶提供了更大程度的靈活性，使其可以與MR環(huán)境進(jìn)行交互。無論是手勢追蹤、5G智能手機(jī)控制、還是6DoF控制器、眼動(dòng)追蹤、語音交互等，事實(shí)上，我們并不認(rèn)為其中單一一種方式是與MR交互的最佳方法，實(shí)際上可以同時(shí)包含多種控制選項(xiàng)?！背耸謩葑粉欀?，日前Nreal與七鑫易維合作，宣布推出結(jié)合眼動(dòng)追蹤功能的Nreal Light眼鏡。Nreal的首席執(zhí)行官兼創(chuàng)始人徐馳說道：“我們希望為開發(fā)人員和用戶提供多種選擇，讓他們自己來決定最適合的方法?！?/p>

Clay AIR的CRO Varag Gharibjanian也提到：“ 我們很榮幸參與了Nreal引發(fā)的革命，他們是消費(fèi)者AR的領(lǐng)導(dǎo)者，我們期待與他們一起創(chuàng)新共同創(chuàng)建行業(yè)平臺(tái)?！?/p>

“一款對于消費(fèi)者友好的硬件，加上無縫的手勢追蹤和手勢識(shí)別技術(shù)，是使AR在全球范圍內(nèi)實(shí)用化的必要催化劑?！?Clay AIR首席執(zhí)行官Thomas Amilien認(rèn)為，雙方合作關(guān)系的建立標(biāo)志著拐點(diǎn)的出現(xiàn)。

在過去的十年中，許多公司都在推進(jìn)AR眼鏡在行業(yè)及消費(fèi)端的應(yīng)用，推動(dòng)AR眼鏡時(shí)代的來臨，但實(shí)際上早期嘗試的很多公司都失敗了，包括Meta、ODG和Daqri。 Magic Leap曾經(jīng)被認(rèn)為是大眾市場MR頭顯的最佳機(jī)會(huì)，但它也轉(zhuǎn)向了更小但更成熟的行業(yè)市場發(fā)展。

相對而言，像Nreal這樣的玩家有兩個(gè)方面的優(yōu)勢。首先，AR眼鏡是展示5G網(wǎng)絡(luò)速度的一種引人注目的方式，如果可以遠(yuǎn)程傳輸大量數(shù)據(jù)，則可以通過輕量級(jí)硬件提供令人印象深刻的體驗(yàn)。其次，有傳言稱蘋果將推出AR眼鏡，這可能會(huì)增加該硬件形態(tài)成為主流的機(jī)會(huì)，同時(shí)也為該領(lǐng)域增加了一個(gè)強(qiáng)大的競爭對手。

強(qiáng)化與歐盟運(yùn)營商合作，推動(dòng)5G+AR應(yīng)用

在增加Nreal Light功能的同時(shí)，Nreal也在積極推進(jìn)其在歐洲的運(yùn)營商合作伙伴網(wǎng)絡(luò)，與英國EE合作之后又宣布與德國DT電信運(yùn)營商建立了合作關(guān)系，向歐洲市場用戶提供Nreal Light及5G定制應(yīng)用。去年12月在高通公司的驍龍技術(shù)峰會(huì)上展示的AR Field Advisor是一種協(xié)作式機(jī)器/硬件遠(yuǎn)程修復(fù)應(yīng)用程序，它將與Nreal Light的新5G游戲和娛樂內(nèi)容一同加入Nreal的內(nèi)容平臺(tái)。

“我們相信混合現(xiàn)實(shí)將改變?nèi)藗兊墓ぷ?、生活和互?dòng)方式?！钡聡鳧T產(chǎn)品創(chuàng)新和客戶服務(wù)高級(jí)副總裁Omar Tazi說道， “混合現(xiàn)實(shí)是沉浸式娛樂未來的起點(diǎn)，Nreal在將該技術(shù)推向大眾市場方面邁出了一大步。通過提供從邊緣計(jì)算到最佳連接性的關(guān)鍵技術(shù)，再結(jié)合用于娛樂的最佳內(nèi)容，例如音樂演唱會(huì)、體育賽事甚至是游戲，德國DT將與Nreal一起釋放混合現(xiàn)實(shí)的全部潛力。”

在亞洲，Nreal通過在LG Uplus零售店以及日本KDDI直營店展示Nreal Light設(shè)備的舉措，將MR帶入了韓國、日本消費(fèi)者的生活，并取得了長足的進(jìn)步。

在CES 2020上，Nreal推出了其備受贊譽(yù)的3D MR系統(tǒng)“星云”，星云系統(tǒng)作為在MR環(huán)境中移植和顯示2D原生安卓應(yīng)用程序和交互式3D內(nèi)容的方式，首次向消費(fèi)者展示了一個(gè)多維的界面，該界面專門為Nreal Light上的MR環(huán)境設(shè)計(jì)，能夠讓用戶獲得更沉浸的體驗(yàn)。現(xiàn)在，通過與手勢追蹤相結(jié)合，MR開發(fā)人員和企業(yè)客戶可以為用戶構(gòu)建更加身臨其境且真正互動(dòng)的MR應(yīng)用程序。

日前，Nreal還與Spatial、高通、運(yùn)營商合作，共同推動(dòng)SpaTIal AR協(xié)作應(yīng)用落地，該內(nèi)容也將在不久后登陸星云系統(tǒng)。

SpaTIal的空間協(xié)作MR應(yīng)用將為用戶提供不受物理空間限制的遠(yuǎn)程協(xié)作解決方案。用戶只需戴上Nreal Light眼鏡，并將其連接在支持高通平臺(tái)的5G智能手機(jī)上，運(yùn)行SpaTIal應(yīng)用即可體驗(yàn)首款針對MR平臺(tái)推出的5G優(yōu)化協(xié)作會(huì)議解決方案。