自從2014年收購Oculus以來,facebook在VR上下的工夫一直都沒有減少,砸錢砸得不計成本。這些投入也被外界稱為“為未來買單”,facebook扔進大海的石子并沒有沉沒了事兒,也是激起了幾多浪花的。比如基于眼動追蹤技術的VR圖像渲染上。
去年5月份,facebook推出了Half Dome原型機,其集成了眼動追蹤相機、寬視場光學系統(tǒng)和可獨立變焦顯示器,就是為了取得和人眼觀察事物一致的效果:對視線之外的區(qū)域進行模糊處理,以達到沉浸式體驗。同樣,這款原型機發(fā)布的時候和Tobii水平差不多,由于硬件和算法的限制,渲染的逼真程度很難讓人評價為體驗良好。而去年12月,facebook就為其匹配了人工智能渲染系統(tǒng)Deep Focus。
那么,Deep Focus加持的圖像渲染和Tobii以及Half Dome原型機的區(qū)別在哪里呢?一個詞來回答就是:自然模糊。
對注視點之外的畫面進行模糊處理是方向,但這其中的問題也有很多:清晰區(qū)域和模糊區(qū)域的過渡是否平滑自然?注視點移動過程中圖像由模糊到清晰的轉化是否自然?
不自然的過渡是這樣的:
自然的過渡則是這樣的:
顯然下圖要比上圖有更自然的注視點邊緣模糊處理。這也成為了Deep Focus努力的方向。而如果純粹是用算力來解決問題,那對本身體積就存在限制的VR頭顯又提出了要求。因此facebook reality lab的研究者選擇了另外一個方向:利用深度學習來實現(xiàn)自然模糊。為此,研究團隊需要大量的數(shù)據(jù)來對人工智能系統(tǒng)進行訓練。但問題是上哪兒去找這么多數(shù)據(jù)呢?