百度AR技術(shù)開放平臺(tái)DuMix AR正式宣布升級(jí)為5.0版本

2019年以來，百度視覺技術(shù)不斷精進(jìn)，在各大國(guó)際賽事屢屢奪冠。在近日的百度AI開發(fā)者大會(huì)中，百度視覺技術(shù)再次升級(jí)，在經(jīng)歷了從看清世界到看懂世界的1.0時(shí)代，百度視覺語義化平臺(tái)將進(jìn)入2.0時(shí)代，交互升級(jí)方面，依靠領(lǐng)先的視覺基礎(chǔ)技術(shù)，帶來一體化人機(jī)交互與大場(chǎng)景物理世界交互兩大增強(qiáng)現(xiàn)實(shí)技術(shù)的系統(tǒng)級(jí)革新；同時(shí)百度AR技術(shù)開放平臺(tái)DuMix AR也宣布升級(jí)為5.0版本。

百度視覺技術(shù)部、增強(qiáng)現(xiàn)實(shí)技術(shù)部總監(jiān)吳中勤表示，在小視頻應(yīng)用中常見的美顏濾鏡、貼紙等功能，以及手機(jī)相機(jī)中自帶的AR萌拍，背后都離不開AR特效能力的加持。在本次全新發(fā)布的一體化人機(jī)交互系統(tǒng)中，帶來了人臉、人體、手勢(shì)及環(huán)境特效等AR能力的創(chuàng)新變革，通過單點(diǎn)能力升級(jí)和玩法組合，將為視頻拍攝、游戲互動(dòng)等場(chǎng)景提供更豐富的創(chuàng)作空間和交互體驗(yàn)。

據(jù)吳中勤介紹，百度AR從自建人臉數(shù)據(jù)庫(kù)的海量數(shù)據(jù)中提取東方人臉型基底，并以此為基礎(chǔ)構(gòu)建了一套穩(wěn)定高效的用戶臉型三維重建算法，實(shí)現(xiàn)精細(xì)化五官和實(shí)時(shí)穩(wěn)定的皮膚級(jí)跟蹤效果。手勢(shì)交互玩法方面，百度AR建立了一系列業(yè)內(nèi)領(lǐng)先的超輕量級(jí)（計(jì)算量小，體積?。┦植拷换ニ惴芰仃?，除了常見的控雨等手勢(shì)控制操作，還能自定義手部特效、空間作畫等多種創(chuàng)意玩法，在全民小視頻、好看視頻等應(yīng)用中備受歡迎。

在移動(dòng)端，百度率先支持了18點(diǎn)/59點(diǎn)肢體骨骼點(diǎn)/輪廓點(diǎn)檢測(cè)跟蹤和主流機(jī)型的全面覆蓋；環(huán)境感知和理解方面，包含人像分割、天空分割、物體檢測(cè)等多項(xiàng)算法能力在內(nèi)的特效能力矩陣，實(shí)現(xiàn)了物理世界1：1實(shí)景實(shí)時(shí)分割，可以任意選擇背景替換、染發(fā)、天空特效、動(dòng)畫疊加等AR效果。

交互技術(shù)的升級(jí)還將更深入地賦能智慧生活場(chǎng)景?，F(xiàn)場(chǎng)，吳中勤通一個(gè)鮮活的案例展現(xiàn)了智能車機(jī)綜合實(shí)現(xiàn)疲勞駕駛提醒、語音視覺的互動(dòng)操控，以及利用3D識(shí)別跟蹤技術(shù)實(shí)現(xiàn)與小度在家等家庭智能設(shè)備的交互。全新的一體化人機(jī)交互系統(tǒng)已全面接入百度智能云平臺(tái)，支持為企業(yè)提供更全面、更易用的智能化能力和更完善的視頻解決方案。

交互升級(jí)的另一大焦點(diǎn)，是基于VPAS（視覺定位與增強(qiáng)服務(wù)）的大場(chǎng)景物理世界交互系統(tǒng)的發(fā)布。百度首次通過視覺定位與AR技術(shù)的突破性結(jié)合，將虛擬信息與真實(shí)地理位置準(zhǔn)確重合，標(biāo)志著國(guó)內(nèi)AR技術(shù)發(fā)展與應(yīng)用領(lǐng)域取得突破性進(jìn)展——在從簡(jiǎn)單的空間物體放置體驗(yàn)，邁向基于物理空間精準(zhǔn)感知的高沉浸混合現(xiàn)實(shí)體驗(yàn)。

據(jù)悉，VPAS主要包含離線高精地圖構(gòu)建、在線定位與融合跟蹤三大基礎(chǔ)模塊，相比GPS具備更穩(wěn)定的實(shí)時(shí)跟蹤能力，支持室外大場(chǎng)景及室內(nèi)場(chǎng)景厘米級(jí)高精度定位。而且，百度AR采用了最具前瞻性的視覺技術(shù)方案，以及兼容Google、Apple平臺(tái)的持續(xù)跟蹤能力與獨(dú)有自研跟蹤能力共同構(gòu)成的融合跟蹤方案，能夠支持當(dāng)前市場(chǎng)主流手機(jī)設(shè)備的全場(chǎng)景體驗(yàn)需求；同時(shí)結(jié)合百度視覺語義化能力，持續(xù)提升在線定位與實(shí)時(shí)跟蹤的穩(wěn)定性和精準(zhǔn)度。

百度AR在視覺信息要素積累的基礎(chǔ)上實(shí)現(xiàn)了一套完整的視覺地圖構(gòu)建方案，即實(shí)行眾源數(shù)據(jù)采集模式，對(duì)用戶通過手機(jī)收集反饋的圖像數(shù)據(jù)進(jìn)行處理分析，結(jié)合百度地圖的地理位置信息持續(xù)更新完善視覺地圖。吳中勤指出，目前百度AR已打通常見三維重建數(shù)據(jù)導(dǎo)入接口，并且兼容相同格式下的第三方數(shù)據(jù)，具備易集成特性和數(shù)據(jù)批量化生產(chǎn)能力。

現(xiàn)場(chǎng)，吳中勤還展示了VPAS首個(gè)落地應(yīng)用案例——重建圓明園大水法。當(dāng)用戶跟隨百度地圖導(dǎo)航走進(jìn)圓明園西洋樓景區(qū)，VPAS將自動(dòng)“找到”大水法遺址，在殘?jiān)珨啾谏现匦陆⑵?00多年前雕欄玉砌、“獵狗逐鹿”的恢弘奇景。這也是將百度AI能力與5G技術(shù)結(jié)合的第一個(gè)落地應(yīng)用場(chǎng)景。隨著5G時(shí)代到來，AI與5G/邊緣計(jì)算相互賦能不斷深化，將以大水法為起點(diǎn)，拓展景區(qū)、商圈等更多室內(nèi)外場(chǎng)景，結(jié)合VPAS為物理世界可視化導(dǎo)航服務(wù)帶來體驗(yàn)式變革。

吳中勤表示，“隨著5G時(shí)代的到來，百度AR依托視覺技術(shù)優(yōu)勢(shì)所構(gòu)建的虛實(shí)場(chǎng)景融合的基礎(chǔ)設(shè)施，將不斷彌合虛擬世界與物理世界的間隙，刷新人們探索世界的方式?！?/p>