GPU性能不夠跑VR?這項技術(shù)或許能解決難題
所謂虛擬現(xiàn)實,就是要欺騙人的眼睛和大腦,讓虛擬世界感覺跟真實世界一樣。目前好的VR產(chǎn)品已經(jīng)在這方面做得相當(dāng)不錯了,但仍有進(jìn)步空間。下面要說的就是一項可以讓虛擬世界更好模擬真實世界的技術(shù)。
人眼看世界與VR渲染方式
人眼能看到的范圍是有限的,因此產(chǎn)生了一個名詞叫人眼視度。人眼視度指的是人不動頭時的可視角度。我們身處一個360度環(huán)繞的世界,但任何時候我們只能查看120度視度范圍內(nèi)的事物,并且我們的雙眼會聚焦在視野中一小塊不超過6度的區(qū)域(中央凹+近中央凹視野),周圍則是模糊的(周邊視野),這就是我們看世界的方式。
頂級的VR頭顯(HTC Vive、Oculus Rift)的可視角度能達(dá)到110度左右(與眼睛和屏幕之間的距離有關(guān)),與人眼視度非常接近。我們在VR頭顯中看到的世界,也只是它的屏幕所顯示內(nèi)容的一部分,而真正聚焦的更是這一小部分中的一小塊區(qū)域。但是VR設(shè)備在渲染畫面時卻是對整個視野進(jìn)行渲染,不在人眼聚焦的畫面一樣在以相同的速度刷新。
由于VR設(shè)備的高分辨率和刷新率,這種渲染方式需要消耗大量的GPU資源,使得PC平臺的頭盔對顯卡要求很高(通常在GTX 970以上),而移動VR則很難達(dá)到良好的體驗。
不過,一些公司已經(jīng)在著手解決問題,Nvidia推出了MRS(mulTI-resoluTIon shading)技術(shù),國內(nèi)公司七鑫易維則希望在此基礎(chǔ)上加入焦點渲染(Foveated rendering)技術(shù)。
分區(qū)渲染的MRS
去年5月,Nvidia在自家針對VR的開發(fā)者套件GameWorks VR中加入了MRS技術(shù)。這項技術(shù)使得針對VR的渲染不再是將整個畫面以相同的分辨率進(jìn)行渲染,而是分成了幾個不同的區(qū)域。
畫面的中央,也就是人眼在VR中看到的主要區(qū)域,也是畫面沒有畸變的地方,會以完整的高分辨率進(jìn)行渲染;而畫面的邊緣則以更低質(zhì)量進(jìn)行渲染,再加上邊緣的像素經(jīng)過變形后的損失,可以節(jié)省25%-50%的像素,理論上可以提升一倍的渲染效果。
使用Nvidia Maxwell架構(gòu)的顯卡,包括GeForce TItan X和GTX 900系列,目前都支持這一技術(shù)。
在接受雷鋒網(wǎng)采訪時,Nvidia全球副總裁、中國區(qū)總經(jīng)理張建中也對這項技術(shù)進(jìn)行了解釋:
傳統(tǒng)的眼鏡都是魚眼的,傳統(tǒng)的GPU渲染的是長方形,長方形變成魚眼,用傳統(tǒng)的方法去渲染是不行的。所以我們想了一個比較聰明的方法,我們把視覺圖形分成九塊,用不同的方式去渲染,這樣把效率提高大概50%左右。結(jié)果就相當(dāng)于以前可能一秒鐘渲染90幀,現(xiàn)在可以做到140幀左右,這樣你就可以看到更高清晰度。
焦點渲染
國內(nèi)創(chuàng)業(yè)公司七鑫易維目前正與Nvidia合作,在MRS技術(shù)的基礎(chǔ)之上,使用眼球追蹤技術(shù)進(jìn)一步開發(fā)出焦點渲染技術(shù)(也叫注視點渲染),從而進(jìn)一步縮小高清渲染畫面的區(qū)域。
據(jù)七鑫易維CEO黃通兵介紹,焦點渲染通過近紅外傳感器對人的眼球進(jìn)行追蹤,判斷人眼的注視點,只對注視點區(qū)域進(jìn)行高清渲染,而且這個區(qū)域會隨著注視點的變化而變化。
上圖是雷鋒網(wǎng)記者在試用注視點渲染技術(shù)時電腦屏幕顯示的畫面,可以看到記者的視線焦點停留在小屋上時,畫面中只有小屋是清晰的,而周圍一大片區(qū)域則是模糊的。但是當(dāng)你戴著頭盔看時,幾乎分辨不出和沒有使用這項技術(shù)的畫面的區(qū)別。
官方表示這個方案可以在保證用戶體驗的情況下,將渲染像素降低到MRS方案的10%左右,最終適配VR設(shè)備的PC比例可以提升至30%。
眼球追蹤會對整個畫面渲染帶來延遲,黃通兵表示他們解決了這個問題,他表示目前追蹤技術(shù)最高可以做到380Hz的刷新率,如果以通常提供的220Hz計算,會給渲染帶來5ms的延時。但是,由于使用焦點渲染,GPU的負(fù)擔(dān)減輕,使得其渲染延時可以降低至5ms,最終使得整體延時仍然低于20ms的坎。
這項技術(shù)也仍有一些問題需要解決,包括針對戴眼鏡的用戶,眼鏡會影響眼球追蹤的效果;還有HTC Vive這類產(chǎn)品使用的菲涅爾透鏡,其同心圓也會干擾到信號。
國際上亦有廠商在開發(fā)類似的技術(shù),包括Tobii、SMI、FOVE和Eyefluence,但是這個領(lǐng)域還沒有形成標(biāo)準(zhǔn)。
目前七鑫易維除了跟Nvidia合作外,也在跟高通、HTC、Oculus以及國內(nèi)VR頭顯廠商合作研究這項技術(shù),具體的產(chǎn)品面世時間仍有待確定,但據(jù)悉高通的一體機方案會重點推這個技術(shù),國內(nèi)的大朋和3Glasses也很積極