高效率信號(hào)處理為高質(zhì)量的AR/VR應(yīng)用鋪平了道路

 2016年7月發(fā)布的Pokemon Go僅僅過(guò)去了一年，那是增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）演進(jìn)的關(guān)鍵時(shí)刻，在雖然在此之前另一款應(yīng)用Blippar則將AR的概念引入了大眾市場(chǎng)。Pokemon Go生動(dòng)的演示了科技是如何重塑了一個(gè)經(jīng)典的游戲，讓它再次一夜成名。

AR技術(shù)吸引用戶的是可以將虛擬世界的事件和探索戶外真實(shí)環(huán)境結(jié)合起來(lái)。人們發(fā)現(xiàn)他們無(wú)需被文字的海洋與真實(shí)隔離，現(xiàn)在可以重新將生活和科技聯(lián)系在一起。從此，很多科技公司致力于使得AR技術(shù)無(wú)處不在，并和虛擬現(xiàn)實(shí)（VR）技術(shù)結(jié)合起來(lái)，開(kāi)辟了AR技術(shù)更為廣闊的應(yīng)用天地。

應(yīng)用到手機(jī)上

今年夏天Google推出了ARCore框架。其目的是將AR和VR技術(shù)引入更為普及的安卓設(shè)備，而不僅僅是之前的Project Tango項(xiàng)目。蘋(píng)果也在今年5月推出了ARKit，隨后在新一代的蘋(píng)果手機(jī)上支持了基本的AR功能：從基于安全應(yīng)用的人臉識(shí)別到智能運(yùn)動(dòng)程序（它可以將相關(guān)統(tǒng)計(jì)數(shù)據(jù)投射到軟件檢測(cè)出的附近用戶的屏幕上）。

應(yīng)用程序要將虛擬行動(dòng)變成現(xiàn)實(shí)，所需要的能力不僅僅是高性能的圖形操作。它還需要運(yùn)行配套軟件來(lái)解釋探測(cè)到的運(yùn)動(dòng)，和從不同傳感器陣列里面獲取的其他環(huán)境信號(hào)。機(jī)器學(xué)習(xí)技術(shù)將支撐把這兩部分連接到AR基礎(chǔ)設(shè)施中的識(shí)別算法。

由內(nèi)而外的跟蹤

在某些場(chǎng)景中，AR應(yīng)用會(huì)得到來(lái)自外部資源的幫助。比如在零售賣(mài)場(chǎng)，指向標(biāo)提供位置數(shù)據(jù)給AR增強(qiáng)的室內(nèi)導(dǎo)航應(yīng)用。然而對(duì)于AR和VR技術(shù)無(wú)處不在的移動(dòng)設(shè)備而言，這種由內(nèi)而外的跟蹤將至關(guān)重要。

由內(nèi)而外的跟蹤可以控制移動(dòng)設(shè)備。與依賴于傳感器信號(hào)輸入的手機(jī)相比，由內(nèi)而外的跟蹤更加復(fù)雜和具有挑戰(zhàn)性，但在大多數(shù)情況體現(xiàn)出了的巨大優(yōu)勢(shì)。耦合合適的傳感器和適當(dāng)有效的在線處理意味著在大多數(shù)情況下，物體可以被檢測(cè)并且識(shí)別，而且所有識(shí)別在邊緣設(shè)備上處理完成。

第一批面向AR的設(shè)備依賴于專(zhuān)用傳感器，如基于飛行時(shí)間（time-of-flight ）原理的3D攝像頭，針對(duì)距離檢測(cè)進(jìn)行了優(yōu)化。而最新的發(fā)展趨勢(shì)則是更重視應(yīng)用現(xiàn)有的傳感器。

傳感器提供的數(shù)據(jù)經(jīng)過(guò)更先進(jìn)的信號(hào)和視覺(jué)處理算法處理，可以基于用戶的環(huán)境獲取更為廣泛的信息。目前看來(lái)有兩種并行發(fā)展的趨勢(shì)：

1. 通過(guò)簡(jiǎn)單的傳感器在現(xiàn)有設(shè)備上部署AR

2. 融合了更為強(qiáng)大的硬件和專(zhuān)屬傳感器的新設(shè)備將會(huì)帶來(lái)高質(zhì)量的AR用戶體驗(yàn)。新興產(chǎn)品的價(jià)格也會(huì)隨著產(chǎn)量的增加而下降。

這些趨勢(shì)的結(jié)果是改變?cè)瓉?lái)手機(jī)處理的性質(zhì)。僅僅依靠多核通用處理器和圖形處理器的的MIPS值和MFLOPS能力是不夠的。電池不能長(zhǎng)期維持滿足這些高能耗子系統(tǒng)的水平。我們需要的是一個(gè)專(zhuān)注于高效信號(hào)處理的架構(gòu)，并且針對(duì)機(jī)器學(xué)習(xí)和環(huán)境感知算法進(jìn)行調(diào)優(yōu)。

CEVA是一家致力于把深度學(xué)習(xí)和類(lèi)似算法引入移動(dòng)領(lǐng)域的公司。高度并行的架構(gòu)可以精細(xì)化使用內(nèi)存，這是傳統(tǒng)CPU和GPU不容易實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)對(duì)于內(nèi)存的訪問(wèn)效率和處理器的數(shù)據(jù)吞吐對(duì)于整體性能同樣重要。

3D渲染是關(guān)鍵

支持高效AR和VR應(yīng)用的另一方面取決于3D場(chǎng)景的渲染。人工部分的場(chǎng)景需要盡可能逼真，并且能夠應(yīng)對(duì)轉(zhuǎn)動(dòng)和傾斜手機(jī)造成的突然的運(yùn)動(dòng)變化。這需要軟件將這些變化傳達(dá)給3D渲染引擎的時(shí)候具有非常低的延遲。

一旦延時(shí)太高了，虛擬動(dòng)作就很難耦合真實(shí)場(chǎng)景。如果用戶是戴著耳機(jī)注視著一個(gè)幾乎完全虛擬的場(chǎng)景，移動(dòng)圖像的延時(shí)如同用戶自己在轉(zhuǎn)圈，最終導(dǎo)致眩暈。

快速傳感器跟蹤也可以幫助提高渲染引擎的吞吐量。攝像頭可以追蹤用戶的眼球運(yùn)動(dòng)，告訴渲染引擎用戶大部分的注意力集中在什么地方。錐形渲染技術(shù)（foveated rendering）就是利用大腦最敏感的圖像部分正好是目光直接注視的區(qū)域這一原理。周?chē)脑乜梢允褂幂^少的細(xì)節(jié)進(jìn)行渲染。

高速信號(hào)和視覺(jué)處理器可以處理來(lái)自多種類(lèi)型傳感器的數(shù)據(jù)是解決問(wèn)題的關(guān)鍵。使用這些引擎比3D渲染管線本身更節(jié)約功耗，CEVA等公司正在將高質(zhì)量的AR和VR技術(shù)變?yōu)榭赡堋２⑶也粫?huì)在短短幾個(gè)小時(shí)內(nèi)耗盡電池。