如何用 All Programmable SoC 優(yōu)化AR解決方案

研究顯示人類通過視覺與世界互動時，處理圖像的速度比處理書面文本等其他不同形式的信息要快許多倍。增強(qiáng)現(xiàn)實 (AR) 類似于其近親虛擬現(xiàn)實(VR)，能讓用戶增強(qiáng)對周邊環(huán)境的洞察。它們之間的主要的區(qū)別是,AR 借助文本或其他可視對象等虛擬對象可豐富或增強(qiáng)自然界。這樣能讓 AR 系統(tǒng)的用戶安全、更高效地與他們的環(huán)境互動。這與用戶沉浸在人工創(chuàng)建的環(huán)境中的虛擬現(xiàn)實不同。增強(qiáng)現(xiàn)實和虛擬的結(jié)合常被描述為為用戶呈現(xiàn)混合現(xiàn)實 (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺地用上了AR，例如我們的移動設(shè)備在進(jìn)行道路導(dǎo)航時，或是玩精靈寶可夢GO等虛擬游戲時。

虛擬現(xiàn)實、增強(qiáng)現(xiàn)實和混合現(xiàn)實

當(dāng)提及 AR 及其應(yīng)用時，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應(yīng)用中，讓用戶無需低頭看儀表盤就能看到相關(guān)的飛行器/汽車信息。抬頭顯示器是較簡單的可用 AR 應(yīng)用之一。擁有可穿戴技術(shù)等更高級功能的先進(jìn) AR 應(yīng)用往往被稱為智能增強(qiáng)現(xiàn)實，據(jù) Tractica 預(yù)測，其市場規(guī)模到 2020 年將達(dá)到 23 億美元。

增強(qiáng)現(xiàn)實應(yīng)用和用例

AR正在進(jìn)軍眾多應(yīng)用領(lǐng)域，覆蓋工業(yè)、軍事、制造、醫(yī)療、社交和商業(yè)等不同行業(yè)，其大量的用例推動其被廣泛采用。在商業(yè)領(lǐng)域，AR主要側(cè)重于社交媒體提供應(yīng)用，例如能夠識別您交談的對象并添加履歷信息。AR 還能讓消費者看到有時難以參觀到的產(chǎn)品，例如汽車、游艇、建筑物等。

許多 AR 應(yīng)用都離不開使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內(nèi)的效率，例如便于替換操作手冊，向用戶展示如何組裝零部件。在醫(yī)療領(lǐng)域，智能眼鏡便于分享醫(yī)療記錄以及創(chuàng)傷和損傷的詳細(xì)狀況，能為現(xiàn)場急救人員和后續(xù)急診室人員提供治療信息。

智能眼鏡在工業(yè)環(huán)境中的使用實例

一個典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運標(biāo)簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎(chǔ)設(shè)施與公司服務(wù)器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶提示包裹的堆放處，以便繼續(xù)發(fā)運。

就算不考慮應(yīng)用和用例，設(shè)計一款 AR 系統(tǒng)也會面臨多重相互矛盾的要求，包括性能、安全、功耗和未來兼容性。如果設(shè)計人員要為 AR 系統(tǒng)提供理想的解決方案，這些都必須考慮到。

實現(xiàn) AR 系統(tǒng)

這些復(fù)雜的 AR 系統(tǒng)要求能夠連接多個攝像機(jī)傳感器并處理來自這些傳感器的數(shù)據(jù)，從而讓系統(tǒng)了解周圍環(huán)境。這些攝像頭傳感器還可能會工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來自電磁頻譜之外的信息，從而為檢測移動和轉(zhuǎn)動提供輸入，例如 MEMS 加速計和陀螺儀，以及全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)提供的位置信息。融合來自多種不同類型傳感器的信息的嵌入式視覺系統(tǒng)一般也稱為異構(gòu)傳感器融合系統(tǒng)。AR 系統(tǒng)也要求高幀率，以及開展實時分析、逐幀提取和處理每幀所含信息的能力。提供滿足這些要求的處理能力成為組件選擇的決定性因素。

AR 系統(tǒng)剖析

All Programmable Zynq® -7000 SoC 或 Zynq® UltraScale+™ MPSoC 用于實現(xiàn) AR 系統(tǒng)的處理內(nèi)核。這些器件本身屬于異構(gòu)處理系統(tǒng)，將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個 ARM® Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標(biāo)準(zhǔn)的硬化視頻編碼器。

這些器件能讓設(shè)計人員使用處理器理想地細(xì)分系統(tǒng)架構(gòu)，實現(xiàn)實時分析功能并傳遞給生態(tài)系統(tǒng)中的傳統(tǒng)處理器任務(wù)。該可編程邏輯可用于實現(xiàn)傳感器接口和處理，從而帶來多重好處，具體包括：

· 根據(jù)應(yīng)用要求，并行實現(xiàn) N 個圖像處理流水線。

· 任意連接，能定義和連接任意傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，提供靈活性和未來升級路徑。

要實現(xiàn)圖像處理流水線和傳感器融合算法，我們可充分運用 Vivado® HLS 和 SDSoC™ 等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內(nèi)的各種專家級庫。為縮短 AR 系統(tǒng)的上市時間，還可以利用廣泛的第三方 IP。這些 IP 專為 AR、嵌入式系統(tǒng)和專門的賽靈思技術(shù)開發(fā)。這些 IP 模塊的供應(yīng)商中包括 Xylon。Xylon提供能在 Vivado 設(shè)計環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核，同時提供便于系統(tǒng)快速啟動和運行的拖放功能。另一 IP 模塊供應(yīng)商是 Omnitek，其提供一系列針對 AR 要求的關(guān)鍵環(huán)節(jié)的 IP 模塊，例如實時折疊模塊和 3D 處理模塊。

設(shè)計人員還必須考慮 AR 系統(tǒng)的獨特方面。它們不僅需要與觀察用戶周邊環(huán)境的攝像頭和傳感器連接，還需要執(zhí)行應(yīng)用和用例所需的算法。同時它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線，從而確定他們所注視的地方。這一般是通過增加觀察用戶面部的攝像頭和實現(xiàn)眼睛跟蹤算法來做到的。在實現(xiàn)后，該算法能讓 AR 系統(tǒng)跟蹤用戶視線并確定要發(fā)送到 AR 顯示器上的內(nèi)容，從而高效利用帶寬和滿足處理要求。但是執(zhí)行檢測和跟蹤本身就是高計算強(qiáng)度的工作。

大多數(shù) AR 系統(tǒng)屬于便攜式無系留系統(tǒng)，而且很多時候?qū)儆诤椭悄苎坨R一樣的可穿戴系統(tǒng)。這樣如果在供電受限的環(huán)境中實現(xiàn)這樣的處理功能，就會面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過實現(xiàn)多重選項之一，進(jìn)一步降低運行功耗。在極端條件下，這些處理器能夠進(jìn)入可被任意一種源喚醒的待機(jī)模式，從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統(tǒng)檢測到自己被閑置，這些選項都能實現(xiàn)，從而延長了電池使用壽命。在 AR 系統(tǒng)工作過程中，當(dāng)前未被使用的處理器單元可以通過時鐘門控來降低功耗。在可編程邏輯單元內(nèi)，通過遵循簡單的設(shè)計規(guī)則如高效使用硬宏、精心規(guī)劃控制信號和在目前不需要的器件區(qū)域考慮使用智能時鐘門控，也能實現(xiàn)極高的用電效率。

有幾種 AR 應(yīng)用，例如病患醫(yī)療記錄共享或生產(chǎn)數(shù)據(jù)共享，要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級，尤其是在 AR 系統(tǒng)具有高度移動性、可能被放錯地方的情況下。信息保障要求我們能夠信賴存儲在系統(tǒng)里的信息以及系統(tǒng)發(fā)送和接收的信息。這樣對于綜合人工智能領(lǐng)域而言，我們需要使用 Zynq 的安全引導(dǎo)功能來實現(xiàn)加密，并使用 AES 解密、HMAC 和 RSA 驗證來進(jìn)行驗證。只要設(shè)備正確配置和運行，開發(fā)人員就能夠使用 ARM Trust Zone 和管理程序?qū)崿F(xiàn)安全的、外人無法訪問的正交環(huán)境。

在威脅防范方面，這些器件能使用系統(tǒng)內(nèi)置的 XADC 來監(jiān)測供電電壓、電流和溫度，以發(fā)現(xiàn)任何試圖篡改 AR 系統(tǒng)的企圖。如果發(fā)生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數(shù)據(jù)，防止 AR 系統(tǒng)再次連接到支持性基礎(chǔ)設(shè)施。

結(jié)論

AR 系統(tǒng)在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應(yīng)用正日趨普及。這些設(shè)備也為它們帶來了高性能、系統(tǒng)級安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，這些難題將迎刃而解。