阿里創(chuàng)新三維算法，建圖定位等技術(shù)論文入選多個(gè)頂會(huì)

5月20日消息，阿里巴巴達(dá)摩院XR實(shí)驗(yàn)室提出新的三維定位地圖壓縮算法，在保證視覺定位精度的前提下將地圖壓縮250多倍，使之可存儲(chǔ)于手機(jī)等端側(cè)設(shè)備。相關(guān)論文被計(jì)算機(jī)視覺頂會(huì)CVPR 2022收錄。據(jù)悉，該實(shí)驗(yàn)室持續(xù)優(yōu)化自研三維算法，在建圖、定位等核心技術(shù)模塊屢有創(chuàng)新，多個(gè)論文成果先后被國際頂會(huì)收錄。

3D視覺定位是沉浸式互聯(lián)網(wǎng)的核心技術(shù)之一。標(biāo)準(zhǔn)的3D視覺定位方法需提前構(gòu)建特定場景的3D地圖，使之可與相機(jī)拍攝的2D圖片進(jìn)行特征點(diǎn)匹配，以計(jì)算用戶的位置和姿態(tài)。但3D地圖體量巨大，對(duì)存儲(chǔ)空間需求較高，無法部署在內(nèi)存和帶寬有限的手機(jī)等移動(dòng)設(shè)備。

業(yè)界對(duì)3D地圖的輕量化做了諸多探索，在前人工作基礎(chǔ)上，達(dá)摩院XR實(shí)驗(yàn)室提出新方法SceneSqueezer，將3D地圖壓縮250倍以上，并使精度損失控制在較小范圍，實(shí)現(xiàn)模型大小和定位精度的平衡。

SceneSqueezer采用分層策略對(duì)3D地圖進(jìn)行壓縮

根據(jù)論文SceneSqueezer: Learning to Compress Scene for Camera Relocalization，達(dá)摩院團(tuán)隊(duì)采用分層策略對(duì)3D地圖進(jìn)行壓縮，首先利用成對(duì)的共可見性信息對(duì)數(shù)據(jù)庫圖像進(jìn)行聚類，將場景劃分為多個(gè)集群分別壓縮;其次，基于最終的位姿估計(jì)精度，學(xué)習(xí)選擇每個(gè)圖片的特征點(diǎn);最后通過特征量化方法壓縮特征點(diǎn)的描述。該算法在Cambridge Landmarks、Aachen Day-Night等室外場景數(shù)據(jù)集上取得了優(yōu)于既有方法的表現(xiàn)。

達(dá)摩院XR實(shí)驗(yàn)室高級(jí)算法專家董子龍介紹，XR團(tuán)隊(duì)自研三維算法體系，在建圖、定位等核心技術(shù)模塊屢有突破，今年已有多篇論文入選頂會(huì)。如Quadtree Attention for Vision Transformer提出四叉樹注意力機(jī)制，提升了基于視覺任務(wù)的Transformer模型的性能，入選深度學(xué)習(xí)頂會(huì)ICLR 2022;Neural Window Fully-connected CRFs for Monocular Depth Estimation提出單相機(jī)深度估計(jì)算法，利用消費(fèi)級(jí)全景相機(jī)就可完成深度估計(jì)任務(wù)，大大降低三維建圖成本，文章被CVPR 2022錄用。

達(dá)摩院XR實(shí)驗(yàn)室在杭州文三街開發(fā)的“AR打卡”項(xiàng)目

XR實(shí)驗(yàn)室是達(dá)摩院新近成立的實(shí)驗(yàn)室，致力于研究下一代互聯(lián)網(wǎng)技術(shù)，該團(tuán)隊(duì)研發(fā)的AR、VR技術(shù)已落地跨境電商、數(shù)字城區(qū)等多個(gè)場景，如為杭州文三數(shù)字生活街區(qū)建造1:1還原的三維“數(shù)字孿生體”，為杭州奧體中心10萬平米地下停車場開發(fā)AR導(dǎo)航服務(wù)等。