如何用 All Programmable SoC 優(yōu)化AR解決方案

研究顯示人類(lèi)通過(guò)視覺(jué)與世界互動(dòng)時(shí)，處理圖像的速度比處理書(shū)面文本等其他不同形式的信息要快許多倍。增強(qiáng)現(xiàn)實(shí) (AR) 類(lèi)似于其近親虛擬現(xiàn)實(shí)(VR)，能讓用戶增強(qiáng)對(duì)周邊環(huán)境的洞察。它們之間的主要的區(qū)別是,AR 借助文本或其他可視對(duì)象等虛擬對(duì)象可豐富或增強(qiáng)自然界。這樣能讓 AR 系統(tǒng)的用戶安全、更高效地與他們的環(huán)境互動(dòng)。這與用戶沉浸在人工創(chuàng)建的環(huán)境中的虛擬現(xiàn)實(shí)不同。增強(qiáng)現(xiàn)實(shí)和虛擬的結(jié)合常被描述為為用戶呈現(xiàn)混合現(xiàn)實(shí) (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺(jué)地用上了AR，例如我們的移動(dòng)設(shè)備在進(jìn)行道路導(dǎo)航時(shí)，或是玩精靈寶可夢(mèng)GO等虛擬游戲時(shí)。

虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)

當(dāng)提及 AR 及其應(yīng)用時(shí)，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車(chē)應(yīng)用中，讓用戶無(wú)需低頭看儀表盤(pán)就能看到相關(guān)的飛行器/汽車(chē)信息。抬頭顯示器是較簡(jiǎn)單的可用 AR 應(yīng)用之一。擁有可穿戴技術(shù)等更高級(jí)功能的先進(jìn) AR 應(yīng)用往往被稱為智能增強(qiáng)現(xiàn)實(shí)，據(jù) Tractica 預(yù)測(cè)，其市場(chǎng)規(guī)模到 2020 年將達(dá)到 23 億美元。

增強(qiáng)現(xiàn)實(shí)應(yīng)用和用例

AR正在進(jìn)軍眾多應(yīng)用領(lǐng)域，覆蓋工業(yè)、軍事、制造、醫(yī)療、社交和商業(yè)等不同行業(yè)，其大量的用例推動(dòng)其被廣泛采用。在商業(yè)領(lǐng)域，AR主要側(cè)重于社交媒體提供應(yīng)用，例如能夠識(shí)別您交談的對(duì)象并添加履歷信息。AR 還能讓消費(fèi)者看到有時(shí)難以參觀到的產(chǎn)品，例如汽車(chē)、游艇、建筑物等。

許多 AR 應(yīng)用都離不開(kāi)使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內(nèi)的效率，例如便于替換操作手冊(cè)，向用戶展示如何組裝零部件。在醫(yī)療領(lǐng)域，智能眼鏡便于分享醫(yī)療記錄以及創(chuàng)傷和損傷的詳細(xì)狀況，能為現(xiàn)場(chǎng)急救人員和后續(xù)急診室人員提供治療信息。

智能眼鏡在工業(yè)環(huán)境中的使用實(shí)例

一個(gè)典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運(yùn)標(biāo)簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎(chǔ)設(shè)施與公司服務(wù)器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶提示包裹的堆放處，以便繼續(xù)發(fā)運(yùn)。

就算不考慮應(yīng)用和用例，設(shè)計(jì)一款 AR 系統(tǒng)也會(huì)面臨多重相互矛盾的要求，包括性能、安全、功耗和未來(lái)兼容性。如果設(shè)計(jì)人員要為 AR 系統(tǒng)提供理想的解決方案，這些都必須考慮到。

實(shí)現(xiàn) AR 系統(tǒng)

這些復(fù)雜的 AR 系統(tǒng)要求能夠連接多個(gè)攝像機(jī)傳感器并處理來(lái)自這些傳感器的數(shù)據(jù)，從而讓系統(tǒng)了解周?chē)h(huán)境。這些攝像頭傳感器還可能會(huì)工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來(lái)自電磁頻譜之外的信息，從而為檢測(cè)移動(dòng)和轉(zhuǎn)動(dòng)提供輸入，例如 MEMS 加速計(jì)和陀螺儀，以及全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)提供的位置信息。融合來(lái)自多種不同類(lèi)型傳感器的信息的嵌入式視覺(jué)系統(tǒng)一般也稱為異構(gòu)傳感器融合系統(tǒng)。AR 系統(tǒng)也要求高幀率，以及開(kāi)展實(shí)時(shí)分析、逐幀提取和處理每幀所含信息的能力。提供滿足這些要求的處理能力成為組件選擇的決定性因素。

AR 系統(tǒng)剖析

All Programmable Zynq® -7000 SoC 或 Zynq® UltraScale+™ MPSoC 用于實(shí)現(xiàn) AR 系統(tǒng)的處理內(nèi)核。這些器件本身屬于異構(gòu)處理系統(tǒng)，將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個(gè) ARM® Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標(biāo)準(zhǔn)的硬化視頻編碼器。

這些器件能讓設(shè)計(jì)人員使用處理器理想地細(xì)分系統(tǒng)架構(gòu)，實(shí)現(xiàn)實(shí)時(shí)分析功能并傳遞給生態(tài)系統(tǒng)中的傳統(tǒng)處理器任務(wù)。該可編程邏輯可用于實(shí)現(xiàn)傳感器接口和處理，從而帶來(lái)多重好處，具體包括：

· 根據(jù)應(yīng)用要求，并行實(shí)現(xiàn) N 個(gè)圖像處理流水線。

· 任意連接，能定義和連接任意傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，提供靈活性和未來(lái)升級(jí)路徑。

要實(shí)現(xiàn)圖像處理流水線和傳感器融合算法，我們可充分運(yùn)用 Vivado® HLS 和 SDSoC™ 等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內(nèi)的各種專(zhuān)家級(jí)庫(kù)。為縮短 AR 系統(tǒng)的上市時(shí)間，還可以利用廣泛的第三方 IP。這些 IP 專(zhuān)為 AR、嵌入式系統(tǒng)和專(zhuān)門(mén)的賽靈思技術(shù)開(kāi)發(fā)。這些 IP 模塊的供應(yīng)商中包括 Xylon。Xylon提供能在 Vivado 設(shè)計(jì)環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核，同時(shí)提供便于系統(tǒng)快速啟動(dòng)和運(yùn)行的拖放功能。另一 IP 模塊供應(yīng)商是 Omnitek，其提供一系列針對(duì) AR 要求的關(guān)鍵環(huán)節(jié)的 IP 模塊，例如實(shí)時(shí)折疊模塊和 3D 處理模塊。

設(shè)計(jì)人員還必須考慮 AR 系統(tǒng)的獨(dú)特方面。它們不僅需要與觀察用戶周邊環(huán)境的攝像頭和傳感器連接，還需要執(zhí)行應(yīng)用和用例所需的算法。同時(shí)它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線，從而確定他們所注視的地方。這一般是通過(guò)增加觀察用戶面部的攝像頭和實(shí)現(xiàn)眼睛跟蹤算法來(lái)做到的。在實(shí)現(xiàn)后，該算法能讓 AR 系統(tǒng)跟蹤用戶視線并確定要發(fā)送到 AR 顯示器上的內(nèi)容，從而高效利用帶寬和滿足處理要求。但是執(zhí)行檢測(cè)和跟蹤本身就是高計(jì)算強(qiáng)度的工作。

大多數(shù) AR 系統(tǒng)屬于便攜式無(wú)系留系統(tǒng)，而且很多時(shí)候?qū)儆诤椭悄苎坨R一樣的可穿戴系統(tǒng)。這樣如果在供電受限的環(huán)境中實(shí)現(xiàn)這樣的處理功能，就會(huì)面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過(guò)實(shí)現(xiàn)多重選項(xiàng)之一，進(jìn)一步降低運(yùn)行功耗。在極端條件下，這些處理器能夠進(jìn)入可被任意一種源喚醒的待機(jī)模式，從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統(tǒng)檢測(cè)到自己被閑置，這些選項(xiàng)都能實(shí)現(xiàn)，從而延長(zhǎng)了電池使用壽命。在 AR 系統(tǒng)工作過(guò)程中，當(dāng)前未被使用的處理器單元可以通過(guò)時(shí)鐘門(mén)控來(lái)降低功耗。在可編程邏輯單元內(nèi)，通過(guò)遵循簡(jiǎn)單的設(shè)計(jì)規(guī)則如高效使用硬宏、精心規(guī)劃控制信號(hào)和在目前不需要的器件區(qū)域考慮使用智能時(shí)鐘門(mén)控，也能實(shí)現(xiàn)極高的用電效率。

有幾種 AR 應(yīng)用，例如病患醫(yī)療記錄共享或生產(chǎn)數(shù)據(jù)共享，要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級(jí)，尤其是在 AR 系統(tǒng)具有高度移動(dòng)性、可能被放錯(cuò)地方的情況下。信息保障要求我們能夠信賴存儲(chǔ)在系統(tǒng)里的信息以及系統(tǒng)發(fā)送和接收的信息。這樣對(duì)于綜合人工智能領(lǐng)域而言，我們需要使用 Zynq 的安全引導(dǎo)功能來(lái)實(shí)現(xiàn)加密，并使用 AES 解密、HMAC 和 RSA 驗(yàn)證來(lái)進(jìn)行驗(yàn)證。只要設(shè)備正確配置和運(yùn)行，開(kāi)發(fā)人員就能夠使用 ARM Trust Zone 和管理程序?qū)崿F(xiàn)安全的、外人無(wú)法訪問(wèn)的正交環(huán)境。

在威脅防范方面，這些器件能使用系統(tǒng)內(nèi)置的 XADC 來(lái)監(jiān)測(cè)供電電壓、電流和溫度，以發(fā)現(xiàn)任何試圖篡改 AR 系統(tǒng)的企圖。如果發(fā)生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數(shù)據(jù)，防止 AR 系統(tǒng)再次連接到支持性基礎(chǔ)設(shè)施。

結(jié)論

AR 系統(tǒng)在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應(yīng)用正日趨普及。這些設(shè)備也為它們帶來(lái)了高性能、系統(tǒng)級(jí)安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，這些難題將迎刃而解。