需把握好三維世界才能把握好AR/VR的未來(lái)

（文章來(lái)源：青亭網(wǎng)）

近期正在韓國(guó)首爾國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)(ICCV)上，一大波的AI研究繼而公布，F(xiàn)acebook計(jì)劃發(fā)表40多篇論文，其中我們關(guān)注到2D照片下三維場(chǎng)景重建與內(nèi)容理解，等等3D圖像分析的研究。這些有什么作用呢，我們知道隨著5G技術(shù)和千兆寬帶的普及，屆時(shí)的互聯(lián)網(wǎng)媒介形式勢(shì)必也會(huì)迎來(lái)改變，其中以AR/VR體驗(yàn)的三維形態(tài)的媒體內(nèi)容被看作重點(diǎn)方向。

隨著場(chǎng)景形態(tài)逐漸向三維轉(zhuǎn)變，屆時(shí)將會(huì)迎來(lái)一個(gè)高度逼真的虛擬世界，而三維內(nèi)容的理解也將變得更為重要。例如現(xiàn)在的AI技術(shù)可以很好的識(shí)別2D照片/視頻中的物體、動(dòng)作等等，而到了三維場(chǎng)景中又會(huì)迎來(lái)新的玩法。Facebook AI研究院今天發(fā)布的一篇博客中，著重提到了其在3D內(nèi)容理解上的努力。

以下的幾項(xiàng)研究，正在以不同但互補(bǔ)的方式來(lái)推進(jìn)三維場(chǎng)景解析技術(shù)的發(fā)展。1，Mesh R-CNN，一種可以精準(zhǔn)預(yù)測(cè)現(xiàn)實(shí)環(huán)境中2D圖像中物體的3D形狀的框架，其可以檢測(cè)復(fù)雜的對(duì)象，比如椅子腿兒、被遮擋的家具等;2，C3DPO，一種在2D關(guān)鍵點(diǎn)注釋中，提取出可變性對(duì)象的3D模型的方法，已用于14個(gè)類別的對(duì)象，通過(guò)2D關(guān)鍵點(diǎn)標(biāo)注實(shí)現(xiàn)，無(wú)3D標(biāo)注信息;

3，通過(guò)新方法學(xué)習(xí)圖像像素與3D形狀之間的關(guān)聯(lián)，大大降低對(duì)注釋訓(xùn)練的依賴，從而更接近可以實(shí)現(xiàn)更多種類對(duì)象3D重建的自我監(jiān)督系統(tǒng);4，VoteNet技術(shù)，可在LiDAR或其它3D傳感器輸入可用時(shí)，進(jìn)行對(duì)象檢測(cè)，該系統(tǒng)完全基于3D點(diǎn)云技術(shù)，精度更高。

包括Mask R-CNN在內(nèi)的很多圖像解析AI框架，往往是在2D環(huán)境中進(jìn)行工作，在3D環(huán)境下可能并不適用。不過(guò)，憑借2D環(huán)境中的感知技術(shù)作為積累，F(xiàn)acebook重新設(shè)計(jì)了一個(gè)3D對(duì)象重建的AI模型。該模型的特點(diǎn)是可在現(xiàn)實(shí)的場(chǎng)景圖片中去預(yù)測(cè)3D對(duì)象的形狀，而這其中的挑戰(zhàn)在于光學(xué)部分，例如：是否有遮擋，是否有雜波以及其它拓?fù)涞膶?duì)象。

為了應(yīng)對(duì)挑戰(zhàn)，首先通過(guò)網(wǎng)格預(yù)測(cè)分支加強(qiáng)Mask R-CNN在2D對(duì)象分割系統(tǒng)，并構(gòu)建Totch3d(Pytorch庫(kù))從而實(shí)現(xiàn)：Mesh R-CNN，其通過(guò)Mask R-CNN進(jìn)行對(duì)象的檢測(cè)和分類。然后通過(guò)新型網(wǎng)絡(luò)預(yù)測(cè)模型推測(cè)3D形狀，該預(yù)測(cè)包含體素預(yù)測(cè)和網(wǎng)格細(xì)化共同構(gòu)成。最后通過(guò)Detectron2完成整套框架的結(jié)構(gòu)，即：輸入RGB圖像--檢測(cè)物體--預(yù)測(cè)3D形狀的過(guò)程。

其中特定部分(例如人體關(guān)鍵、鳥(niǎo)翅膀)的2D關(guān)鍵點(diǎn)，成為了該方法中重新構(gòu)建對(duì)象幾何形狀、變形或視點(diǎn)變化的線索。這些3D關(guān)鍵點(diǎn)利用價(jià)值也很高，例如在VR中創(chuàng)建逼真的面部和全身網(wǎng)格模型時(shí)。簡(jiǎn)單來(lái)講，C3DPO是一種能重建包括數(shù)十萬(wàn)具有上千個(gè)2D關(guān)鍵點(diǎn)的數(shù)據(jù)集方法，并且針對(duì)三種不同的數(shù)據(jù)集、14種以上的非剛性物體類別，進(jìn)行精度重建。另外，和Mesh R-CNN類似，C3DPO同樣支持那些有遮擋或部分缺失圖像。

而C3DPO模型還具備兩個(gè)創(chuàng)新，一是，在給定一組單眼2D關(guān)鍵點(diǎn)的情況下，C3DPO將以標(biāo)準(zhǔn)方向預(yù)測(cè)相機(jī)視點(diǎn)的參數(shù)和3D關(guān)鍵點(diǎn)位置;二是，F(xiàn)acebook提出一個(gè)新的正則化技術(shù)，其包括與3D重建網(wǎng)絡(luò)模型共同學(xué)習(xí)的第二個(gè)輔助深度模型，它解決了因分解3D視點(diǎn)和形狀帶來(lái)的沖突。正是基于這兩項(xiàng)創(chuàng)新，才是C3DPO的方法比傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)模型表現(xiàn)更好。

根據(jù)Facebook描述，這種3D模型構(gòu)建在以前是無(wú)法實(shí)現(xiàn)的，主要由于此前基于矩陣式分解的方法有很多限制，與C3DPO采用的深度網(wǎng)絡(luò)模型不同，其能夠“小規(guī)模”運(yùn)行。為了解決3D重建帶來(lái)的變形問(wèn)題，此前往往通過(guò)同一時(shí)間多張圖像合成解決，這對(duì)硬件要求更高，而C3DPO則可以在硬件無(wú)法進(jìn)行3D拍攝(例如飛機(jī)等體型特別大的物體)的情況下實(shí)現(xiàn)3D重建。

另外還有從圖像集學(xué)習(xí)圖形像素與形狀的映射關(guān)系，以及提升3D系統(tǒng)中對(duì)象檢測(cè)能力的兩個(gè)論文本文不再解讀，感興趣可閱讀原文了解?？偠灾?，3D計(jì)算機(jī)視覺(jué)領(lǐng)域還有很多值得探究的領(lǐng)域，還有很多問(wèn)題尚未被解決，還需要像此前進(jìn)行2D計(jì)算機(jī)視覺(jué)探索那樣繼續(xù)前行。

隨著數(shù)字世界的不斷推進(jìn)，我們將會(huì)轉(zhuǎn)向使用3D照片、AR、VR等技術(shù)，因此未來(lái)需要更準(zhǔn)確的理解場(chǎng)景中對(duì)象、交互動(dòng)作等一系列復(fù)雜的問(wèn)題。Facebook表示：能夠開(kāi)發(fā)出向人類一樣理解現(xiàn)實(shí)世界，并與之互動(dòng)的AI系統(tǒng)是其長(zhǎng)期目標(biāo)。誠(chéng)然，這就需要不斷縮小物理空間和數(shù)字化的虛擬空間之間的隔閡與距離，而在3D視覺(jué)方面就還有很多工作需要大家共同努力。
? ? ?