5G與AR、VR技術(shù)的融合發(fā)展探討與研究

日前，南京軟件谷·Qualcomm中國聯(lián)合創(chuàng)新中心舉辦了XR與5G行業(yè)方案研討會，研討會以“5G啟航·XR”主題，分析5G在教育、醫(yī)療、建筑、工業(yè)等應(yīng)用場景中的潛力，探討5G與AR、VR的融合發(fā)展。

在研討會上，中興通訊數(shù)字視頻與視覺技術(shù)首席架構(gòu)師、視頻與視覺技術(shù)專家委員會副主席朱方在展示現(xiàn)場發(fā)表了以“AR云＠5G賦能垂直行業(yè)智能升級”為主題的演講，圍繞AR為垂直行業(yè)帶來的潛在應(yīng)用場景、中興通訊在5G的部署、AR Cloud＠MEC在5G場景下的技術(shù)進(jìn)步與挑戰(zhàn)、對整個行業(yè)的展望四個方面展開了討論。

AR技術(shù)：表面是改變應(yīng)用場景，實(shí)質(zhì)為貫通數(shù)據(jù)體系

朱方從人類視覺感知方式的變化開啟了AR技術(shù)在垂直行業(yè)的潛在應(yīng)用場景的話題。

源于近幾年人工智能視覺的發(fā)展，人們對世界的感知從2D逐漸深入到3D。也有學(xué)者稱，機(jī)器視覺的感知已經(jīng)是3D世界感知，為AR附加信息的顯示提供了“更溫暖、更親切”的方式。

朱方認(rèn)為AR技術(shù)讓人以一種新方式看三維世界，還提及了“五維觀察方法”的概念，即不僅可以看到物體的三維信息，還可以沿著時間軸看到它的變化，同時根據(jù)人為的判斷和選擇看到它相應(yīng)的改變。朱方以汽車銷售為例，生動地解釋了AR在視覺輔助上的重要作用：“用AR技術(shù)輔助車輛銷售。我們不但可以看到車的顏色、尺寸、大小，還可以看到自主做出改變之后的樣子?！?/p>

由此，朱方稱AR技術(shù)真正讓機(jī)器視覺從認(rèn)知到理解，為互相之間的協(xié)同（即基于同一物理目標(biāo)和同一現(xiàn)實(shí)對象的協(xié)同）成為可能，讓各個領(lǐng)域的知識在競演分享成為可能。

AR不僅僅是改變了應(yīng)用場景，更重要的是它貫通了世界背后的數(shù)據(jù)體系。當(dāng)在市場、維修、市場、規(guī)劃、訓(xùn)練、設(shè)計(jì)以及制造等實(shí)際場景或工業(yè)產(chǎn)品中運(yùn)用AR時，我們將獲得一個完整生命周期的數(shù)據(jù)。在這些與人交互的過程中，與全生命周期的數(shù)字化信息中，我們可以對它進(jìn)行更有效的大數(shù)據(jù)挖掘。

中興通訊5G垂直行業(yè)解決方案：輕量化用戶＋5G大管道＋MEC

中興通訊對其云平臺解決方案的實(shí)測數(shù)據(jù)說明：輕量化用戶、5G大管道和MEC三大優(yōu)勢，使其垂直行業(yè)解決方案的成本可降低50％，系統(tǒng)延遲將降低75％，速率將提升十倍以上，點(diǎn)擊率也將提高30％——換句話說就是省錢省時間。

經(jīng)過五年的耕耘，中興擁有超過1萬個站點(diǎn)，其中包括了復(fù)雜的CBD以及各類場館和郊區(qū)等不同模式，積累了豐富的經(jīng)驗(yàn)，也為中興提供了一個更豐富的產(chǎn)品體系。中興通訊具備端到端完整的5G的商用化的實(shí)踐經(jīng)驗(yàn)和設(shè)備，有眾多的合作伙伴，無論在生態(tài)產(chǎn)業(yè)還是應(yīng)用的探索方面都做了大量實(shí)踐，積累了豐富的經(jīng)驗(yàn)。

“中興在5G方面的部署也好，應(yīng)用也好，都并非朝著人的控制而努力而是朝著觸發(fā)數(shù)據(jù)背后的價值而努力?！?/p>

此外，朱方認(rèn)為MEC（移動邊緣計(jì)算，Mobile Edge Computing）是5G的第一作用。“我們認(rèn)為MEC不光是一個邊緣計(jì)算，它還代表著運(yùn)營商本身角色的變化，它通過我們的5G基礎(chǔ)設(shè)施，成為除管道以外的能力提供者?！?/p>

針對VR云方面的資源調(diào)配，朱方則提醒到：“云有兩層環(huán)境，一層你不用知道它在哪，因?yàn)樗澈蟠嬖谥芎玫恼{(diào)配。其次，云的目的在于分享，把能力充分地分享給用戶，形成一個更好更綠色的運(yùn)營方式。這種分享不光是我們的客戶方面，也將是在我們的伙伴和我們應(yīng)用上。它實(shí)際上構(gòu)建了一個微型生態(tài)，是一個創(chuàng)新的生態(tài)，便于本地協(xié)作和合作支持。 ”

AR云與5G、AR技術(shù)的結(jié)合，同時也形成了一些挑戰(zhàn)，其中就包括低延時的編碼和渲染技術(shù)。朱方提到未來的邊緣云將包含了三大核心基礎(chǔ)能力，渲染能力、云渲染能力、感知能力和低延時編碼，而它帶來的巨大變化在于頭端將變輕。由此帶來的變化是：一，待電時間更長；二，設(shè)備維護(hù)維持的時間更長；三，更智能和更有經(jīng)驗(yàn)。

“這實(shí)際上開啟了一個新的時代，我們稱之為運(yùn)動視覺。原來有個詞叫HMI（Human Machine Interface，人機(jī)接口），意思是說用移動的方式用視覺導(dǎo)入它連接的人和物，這為我們開啟了新的服務(wù)時代。同時我們認(rèn)為整個產(chǎn)業(yè)應(yīng)用生態(tài)的真正繁榮，依賴于通信技術(shù)、設(shè)備、場景和最終生產(chǎn)的有機(jī)結(jié)合。 ”

AR Cloud＠MEC在5G場景下的技術(shù)進(jìn)步與挑戰(zhàn)

在當(dāng)前的階段，AR領(lǐng)域的發(fā)展已有了一些優(yōu)勢，但同時也暴露出一些缺點(diǎn)以及一些亟待完成的工作。

首先，在機(jī)器視覺以及渲染方面，近幾年的確取得了巨大的技術(shù)突破。從機(jī)器視覺在人臉和物體辨識上超過人眼，到現(xiàn)在能夠生成以假亂真的視頻，人工智能取得了迅猛發(fā)展。部分領(lǐng)域已有了一些AR應(yīng)用，構(gòu)建了一些以顯示為主體和標(biāo)準(zhǔn)的數(shù)字流程知識和經(jīng)驗(yàn)。

但朱方認(rèn)為AR云不僅僅是把它放到云端，而是要讓它成為一個真正接駁數(shù)字信息的窗口。僅僅顯示三維結(jié)構(gòu)，AR技術(shù)仍不足以成為真正意義上的數(shù)字信息窗口，并舉例向大家提出了一個思考的方向：

“當(dāng)我們看到一棟樓，我們可以看到它的三維結(jié)構(gòu)，那么能不能看到它的物業(yè)管理情況、銷售紀(jì)錄、核心的買家或者是業(yè)主的一些興趣愛好呢？如何從不同的方面來整合這些信息？哪方面是你希望得到的信息？”

要做到這一程度，AR技術(shù)仍需繼續(xù)完善和拓展。

第二，面臨的另一挑戰(zhàn)即如何把一些已有的知識資產(chǎn)成為人眼可以顯示的信息。大量的美術(shù)館、博物館以及歷史資料都是以紙的方式來呈現(xiàn)信息，雖然有時候是電子形式，但無法讓它做到隨觀察角度變化而變化，它也無法像一幅畫一樣在人們面前自如地展開。朱方提出重點(diǎn)在于如何把已有的信息轉(zhuǎn)化為近點(diǎn)交互的信息格式，并形成一套知識體系。

第三，朱方認(rèn)為AR領(lǐng)域近期有兩個方面的問題亟待解決：一方面，由于AR包含了對象理解和環(huán)境理解，在人工智能當(dāng)前的發(fā)展趨勢下，深度學(xué)習(xí)有時是無法推理的，如何解決這一難題？朱方提出應(yīng)該充分降低人工智能視覺和人類視覺的差距，把互動做的更加自然。

另一方面是構(gòu)建視覺輸入。語音人工智能在當(dāng)下發(fā)展迅速，這也為人機(jī)交互的方式引入了新變化。AR將作為一個新的交互方式為交互方式帶來巨大變革，那么由此所產(chǎn)生的交互方式的改變、交互內(nèi)容的設(shè)計(jì)將是我們生態(tài)合作伙伴以及應(yīng)用所需要關(guān)注的。

朱方認(rèn)為AR的最佳交互方式是腦機(jī)接口：“人眼看到的東西是最直接最快速的反應(yīng)，任何一種方式的轉(zhuǎn)移，都無法反映你最直觀的反應(yīng)。

垂直行業(yè)解決方案ZTE uSamrTIN：充分賦能工業(yè)場景

朱方從中國作為工業(yè)和制造業(yè)大國的國情出發(fā)，提出工業(yè)和制造業(yè)等應(yīng)用場景是AR與5G、VR云應(yīng)用的重點(diǎn)垂直行業(yè)方向。

依照專業(yè)機(jī)構(gòu)的調(diào)查數(shù)據(jù)，AR在工業(yè)方面有兩大應(yīng)用場景和兩個典型部署方式非常有吸引力和價值，一是維護(hù)，二是準(zhǔn)修。

全球大概5000個用例的數(shù)據(jù)統(tǒng)計(jì)表明，AR主要在兩個應(yīng)用范圍將有巨大的潛力：廠房和封閉空間內(nèi)。在工廠環(huán)境下或者制造環(huán)境下，通過5G網(wǎng)絡(luò)可以構(gòu)建更好的數(shù)據(jù)共享方式，重要的是通過切片等技術(shù)保證數(shù)據(jù)安全。

對此，朱方認(rèn)為在這種場景下是真正脫離了有線通信的束縛，形成更好的協(xié)作和屏幕共享，這將非常有利于工業(yè)制造過程和生產(chǎn)效率的提升，真正促進(jìn)了社會的發(fā)展。

就在4月17日，5G云XR亞洲峰會期間，中興通訊聯(lián)合了上海視天科技發(fā)布了首個5G手機(jī)＋輕量化AR眼鏡（來自視天科技）＋AR云平臺解決方案，并在現(xiàn)場演示了基于AR的視頻業(yè)務(wù)。該5G方案可廣泛應(yīng)用于多種行業(yè)場景中，如在AR智能制造場景中，實(shí)現(xiàn)實(shí)時標(biāo)注和專家指導(dǎo)，提升工作效率，以及在AR電力巡檢、AR遠(yuǎn)程專家診療、AR直播移動觀影等多種應(yīng)用場景中發(fā)揮作用

AR應(yīng)用推廣面臨的難題之最——追蹤準(zhǔn)確性

中興通訊針對XR的統(tǒng)一技術(shù)解決方案，稱為ZTE uSmarTIN，是針對融合視覺與數(shù)字視頻的服務(wù)能力框架。該框架中提出了中興通訊MEC整個技術(shù)框架實(shí)施方式到底是針對哪幾大問題，并對整個AR應(yīng)用在推廣中遇到的問題做了一個專題。

首當(dāng)其沖的就是實(shí)時追蹤問題。在互動時候，如何能清楚地知道是跟誰互動？如何實(shí)時追蹤？如何讓攝像頭像用戶的眼睛一樣智能，這涉及到追蹤準(zhǔn)確率的問題以及增強(qiáng)的初始空間定位方法，這三項(xiàng)技術(shù)難點(diǎn)的占比為30％，堪稱技術(shù)難點(diǎn)之最。

難點(diǎn)之二是功效問題，包括設(shè)備穿戴的舒適性、用戶的接受度（可靠性、可用性等）和用戶交互方式，這些部分占到27％。通過運(yùn)營商方式的AR云或者XR云，方便了授權(quán)，同時形成了設(shè)備無感知這樣的使用方式，使AR應(yīng)用能夠更有效地提供應(yīng)用場景，同時方便垂直行業(yè)的應(yīng)用者介入市場。

朱方把中興的角色定義為“公共平臺”：“我們希望專業(yè)人員為專業(yè)人員服務(wù)，更好地讓專業(yè)人員你垂直領(lǐng)域知道的知識，為垂直領(lǐng)域服務(wù)，而我們則為此提供一個公共平臺?！?/p>

最后的關(guān)鍵問題依舊在于老生常談的成本問題。朱方提出降低頭盔成本或手機(jī)成本以提升用戶的接受度的設(shè)想，認(rèn)為在此情況下AR應(yīng)用將有更佳的推廣效果。“如果使用AR云，成本方面會降低10％左右?！?/p>

盡管前路荊棘叢生，朱方還是對AR與5G 的未來保持著美好的期望：“我想這將形成一個萬物皆平的社會。萬物皆平的背后是充分的信息共享與信息展示，最終形成一個新興的社會服務(wù)模式?！?/p>