Facebook研發(fā)注視點(diǎn)AI渲染 意在實(shí)現(xiàn)更高分辨率的VR頭顯

眼球追蹤、注視點(diǎn)渲染（Foveated rendering ）被許多VR硬件技術(shù)廠商視為下一代VR頭顯的突破口。眼球追蹤顧名思義，而注視點(diǎn)渲染可以根據(jù)人眼的注視過程，為用戶最佳視覺點(diǎn)（fovea）呈現(xiàn)清晰精準(zhǔn)的畫面，而周邊視覺范圍則是更簡(jiǎn)單、更模糊的畫面。日前，F(xiàn)acebook現(xiàn)實(shí)實(shí)驗(yàn)室的工程師們提出了DeepFovea，一種人工智能輔助的替代方案，可以創(chuàng)建“半透明化的外圍視頻”，而不是實(shí)際呈現(xiàn)精確的外圍圖像。這個(gè)新過程被稱為“凹形重建”，F(xiàn)acebook表示，它可以將RGB視頻壓縮14多倍，且用戶感知到的畫面質(zhì)量沒有顯著下降。

上圖：DeepFovea使用人工智能“重建”外圍像素，且不會(huì)出現(xiàn)保真度丟失的情況，節(jié)省了相當(dāng)多的處理時(shí)間。

在捕捉視頻流時(shí)，DeepFovea只對(duì)每個(gè)視頻幀中10%的像素進(jìn)行采樣，主要集中在（但不全是）用戶眼睛注視的區(qū)域，如上圖中的蜥蜴頭。相比之下，周邊區(qū)域僅由分散的點(diǎn)采樣，這些分散的點(diǎn)離眼睛的注視區(qū)域越遠(yuǎn)，密度越小。然后，系統(tǒng)使用訓(xùn)練有素的生成對(duì)抗神經(jīng)網(wǎng)絡(luò)從這些小型樣本中重建每一幀畫面，同時(shí)依靠視頻流的時(shí)間和空間內(nèi)容穩(wěn)定地填充視頻細(xì)節(jié)。

如上圖所示，未完全采樣的蜥蜴頭在幀與幀之間基本上無法區(qū)分，而“重建”圖像中相鄰的樹皮沒有“參考”像素那么清晰和詳細(xì)。但事實(shí)并非如此。傳統(tǒng)的注視點(diǎn)渲染系統(tǒng)將這些像素描繪成低分辨率的平面陰影塊，而DeepFovea保留了，或者說更準(zhǔn)確地保留了更多的原始形狀和顏色。

與注視點(diǎn)渲染相比，DeepFovea的關(guān)鍵之處是更好地組合了電源效率和圖像質(zhì)量。Facebook聲稱，渲染減少14倍，這意味著它將能夠向以依賴凝視檢測(cè)的顯示器提供實(shí)時(shí)、低延遲的視頻——這是構(gòu)建輕量級(jí)VR和AR頭顯的必要步驟，顯示原來在云空間中呈現(xiàn)的高分辨率圖形。人們認(rèn)為全天佩戴的Oculus AR頭顯不切實(shí)際，除非移動(dòng)芯片在實(shí)時(shí)3D地圖上的功耗能大幅降低，像我們觀看流媒體視頻時(shí)的功耗一樣。

Facebook的Michael Abrash首次暗示了DeepFovea背后的概念：在未來五年內(nèi)把以深度學(xué)習(xí)為基礎(chǔ)的注視點(diǎn)渲染和良好的眼球追蹤結(jié)合在一起，從而實(shí)現(xiàn)更高分辨率的VR頭顯，比如“Half Dome”原型。在今年的OC6大會(huì)上，Abrash表示，公司將在自己的辦公室里測(cè)試下一代的Half Dome硬件，然后再將其向公眾展示。