NVIDIA的DLSS深度學習采樣技術是目前顯卡界最強的防狗牙技術，但AI的強大當然不會止于此。NVIDIA昨天發(fā)布的一篇研究論文探討了AI生成畫面與傳統(tǒng)游戲引擎結合的方法，他們也為此制作了一個混合圖形系統(tǒng)原型。
雖然NVIDIA所使用的算法和構架思路前人早已提供，比如pix2pix、GAN（對抗生成式神經(jīng)網(wǎng)絡），不過NVIDIA在此實現(xiàn)的新突破，則是借助這些現(xiàn)有的東西，用它們制作了一個能跑起來的游戲demo，盡管這個駕駛模擬demo很簡陋，而且跑的成本有些高（NVIDIA用了塊Titan V），從無到有這一過程總有它的特殊意義在。
為實現(xiàn)該demo，NVIDIA首先喂給GAN模型一堆從自動駕駛中獲得的開源數(shù)據(jù)組，讓AI學習辨識畫面中的內(nèi)容如天空，車輛，樹木道路以及建筑等等，隨后交由其自己根據(jù)學習數(shù)據(jù)生成這些物體的新狀態(tài)；接下來是準備虛擬環(huán)境，用虛幻4引擎以傳統(tǒng)方式構建出車輛所處環(huán)境的基本拓撲；最后，GAN模型會把構成畫面的各種元素實時生成出來傳遞給虛幻4引擎，更新畫面的模型信息。
在demo成型的初期，GAN模型的表現(xiàn)非常不穩(wěn)定，在25fps的幀率條件下它所傳遞的物體顏色和貼圖信息幾乎每幀都會改變，畫面相當瞎眼；在為模型加入短時記憶之后，通過對比兩幀畫面，整套系統(tǒng)會自行判斷畫面內(nèi)物體的運動，讓整體動畫看起來更具關聯(lián)性，更像是連續(xù)行進中的游戲畫面。
NVIDIA強調(diào)稱該技術仍處于實驗室的早期階段，沒個十年二十年恐怕不會出現(xiàn)在我們最終能玩到的游戲內(nèi)。但是這類AI玩法我們其實已經(jīng)在“根據(jù)人臉塑造自己的3D角色形象”，還有深度偽圖等實例中見過了，也許它所要花的時間，會比我們想象中的要短。
下載文檔
