Facebook研發(fā)DeepFovea可為一體機VR大大提升渲染效能

（文章來源：yivian）

DeepFovea是一種基于AI的注視點渲染系統(tǒng)，并主要用于虛擬現(xiàn)實和增強現(xiàn)實顯示器。據(jù)介紹，其采用了的像素數(shù)目較之原來系統(tǒng)要少數(shù)個量級，同時能夠?qū)崿F(xiàn)逼真的注視點全畫質(zhì)體驗。Facebook指出，這是第一個能夠根據(jù)非常稀疏的輸入來生成自然視頻片段的實用生成對抗網(wǎng)絡(luò)(Generative Adversarial Network;GAN)。在測試中，DeepFovea可以將渲染所需的計算資源量減少多達10-14倍，而人眼依然無法注意到任何圖像差異。

在下面這個視頻中，灰色正方形是用戶注視的區(qū)域。系統(tǒng)能夠?qū)λ鰠^(qū)域的圖像進行密集采樣，而其他地方則是稀疏采樣。DeepFovea可以實時有效地生成丟失的外圍像素，不會出現(xiàn)保真度丟失的情況。

1. 工作原理，當(dāng)人眼直接注視對象時，我們可以在注視區(qū)域看到非常清晰的細節(jié)，但外圍視場的清晰度則較低。然而，由于人腦能夠推斷缺失信息，所以我們不會注意到影像差異。利用生成對抗網(wǎng)絡(luò)的最新進展，DeepFovea能夠通過生成感知一致的內(nèi)容來“半透明化”丟失的外圍細節(jié)。

研究人員通過饋送大量低像素密度的視頻片段來訓(xùn)練系統(tǒng)。輸入可以模擬外圍圖像的質(zhì)量下降，而目標(biāo)能夠幫助網(wǎng)絡(luò)根據(jù)所所見視頻的統(tǒng)計信息來學(xué)習(xí)如何填充缺失的細節(jié)。結(jié)果是一個能夠根據(jù)稀疏像素流生成自然視頻的系統(tǒng)。Facebook指出，60×40度視場的外圍像素密度最高降低了99%。所述系統(tǒng)同時可以管理外圍視場的閃爍，鋸齒和其他視頻偽影，將其控制在人眼無法注意到的閾值。

2. 有何意義?高質(zhì)量的AR和VR體驗需要高圖像分辨率，高幀率和多視圖，而這需要耗費大量的資源。為了優(yōu)化系統(tǒng)并把沉浸式體驗帶給更多的設(shè)備(如搭載移動芯片和小型電池的電子產(chǎn)品)，我們需要顯著提升渲染效能。

DeepFovea說明了深度學(xué)習(xí)是如何通過注視點重建來幫助完成這項任務(wù)。這種方法具備跨硬件功能，并有望在下一代頭戴式顯示技術(shù)中成為重要的輔助工具。隨著社區(qū)正不斷探索在AR和VR應(yīng)用眼動追蹤系統(tǒng)，構(gòu)建諸如DeepFovea這樣的視線識別技術(shù)將能發(fā)揮重要的作用。Facebook表示：“這個系統(tǒng)是我們?yōu)閮?yōu)化AR/VR圖形而提出的數(shù)個研究項目之一。在它之前是旨在利用AI解決視覺輻輳沖突挑戰(zhàn)的DeepFocus。”