虛擬演播室技術(shù)：帶你領(lǐng)略閱兵直播的視聽盛宴！

導(dǎo)讀：從去年的世界杯到今年的春晚我們都可以看到虛擬演播室在直播節(jié)目中的出現(xiàn)。這次閱兵，我們同樣可以看到北京電視臺也采用了虛擬演播室技術(shù)：觀眾可以看到，主持人一邊解說，虛擬的武器裝備就會在他身邊出現(xiàn)，生動形象的向觀眾展示了我軍裝備的威武雄壯，而不是干巴巴的文字或者圖片描述。

虛擬演播室技術(shù)實際上可以說就是增強現(xiàn)實技術(shù)的一個子集。它同樣涉及到增強現(xiàn)實中如何將虛擬的元素和真實的場景疊加在一起的問題。不過，增強現(xiàn)實是要讓最后的畫面呈現(xiàn)在用戶的眼睛里，而虛擬演播室則是將畫面呈現(xiàn)在電視的屏幕上。

所以，它的技術(shù)重點和增強現(xiàn)實是一樣的：

第一是如何能夠精確地定位真實的場景;

第二是如何能夠渲染出虛擬的元素;

第三是如何實時地將虛擬的元素疊加在真實的場景上，然后返回到視頻流中。

在這里，最難的是如何將虛擬元素和真實的元素進(jìn)行疊加。

攝像機一旦運動，真實的場景和虛擬的元素都必須同步配合這個運動。電視攝像的幀率是50FPS，也就是說，引擎需要每20ms就渲染出一幀，這是一個相當(dāng)高的要求。所以，系統(tǒng)內(nèi)就應(yīng)該要包括攝像頭的工作狀態(tài)，包括位置和視角等等，虛擬引擎才能夠渲染出相對應(yīng)的畫面。

(虛擬演播室)

于是，這里可以得到一個虛擬演播室的系統(tǒng)流程：

第一步的工作是采集攝像機的工作狀態(tài)信息，最重要的是攝像機的位置和它與真實場景的相對關(guān)系;然后將這些信息傳送給圖形工作站。

第二步則是依此得到前景物體與攝像機之間的距離和相對位置，從而計算出虛擬元素的大小、位置，并渲染生成虛擬元素。

如果虛擬元素涉及到虛擬人物(比如世界杯節(jié)目里的虛擬球員，或者春晚上的陽陽)，則往往還要涉及到動作捕捉系統(tǒng)：用真人的動作實時的驅(qū)動虛擬角色的動作，然后呈現(xiàn)出來。

第三步，虛擬演播室系統(tǒng)會將主持人的實時畫面地與計算機產(chǎn)生的虛擬元素集成在一起，構(gòu)成一個現(xiàn)實中不存在的場景，并且實時向觀眾進(jìn)行廣播。

一般而言，這里會采用我們在電影花絮中常見的綠幕來遮蓋一切我們不想讓它出現(xiàn)在最后畫面中的場景元素，在專業(yè)中，這叫做“色鍵”。然后計算機會將相應(yīng)的顏色全部摳掉，將虛擬場景集合上去，最后就呈現(xiàn)出我們這次會在閱兵直播中看到的，威武雄壯的導(dǎo)彈發(fā)射車出現(xiàn)在主持人的旁邊。

虛擬演播室可以說是增強現(xiàn)實技術(shù)在商業(yè)上的應(yīng)用，而且已經(jīng)能夠在商業(yè)直播中成熟運用了。

不過增強現(xiàn)實本身，還有很長一段路要走——因為消費者意義上的增強現(xiàn)實眼鏡要解決很多虛擬演播室所沒有的困難：

第一，虛擬演播室會是在一個有控制的場景中應(yīng)用。

有專門的設(shè)備采集攝像機的位置和場景本身的位置，而增強現(xiàn)實眼鏡則需要在大范圍內(nèi)應(yīng)用，這就需要時下計算機視覺中非?；馃岬募夹g(shù)領(lǐng)域 SLAM(Simultaneously Localization And Mapping，實時場景測量與建模)來幫助增強現(xiàn)實眼鏡“看到”并且“理解”周圍的環(huán)境。Google的Project Tango正是為了解決這個問題而開發(fā)的項目。

(谷歌的Project Tango項目)

第二，移動的VR眼鏡所可能具備的計算能力要遠(yuǎn)遠(yuǎn)小于虛擬演播室技術(shù)中的商業(yè)級別工作站。

所以其在高幀率下渲染虛擬元素的能力必然遠(yuǎn)遠(yuǎn)不如虛擬演播室，增強現(xiàn)實眼鏡的虛擬畫面必然不會像虛擬演播室那樣豐富和逼真。

第三，增強現(xiàn)實眼鏡的畫面最終是要投射到用戶的視網(wǎng)膜中。

所以想要符合人體的視覺系統(tǒng)特質(zhì)，顯示裝置要具備的能力會大大不同于普通的屏幕：讓人感覺到虛擬與現(xiàn)實的融合，顯示屏需要與人眼球的焦點匹配顯示虛擬元素的能力，目前只有微軟的HoloLens讓人信服地展示了這一種能力，而他們使用的是全息顯示屏。

有趣的地方在于，在今年E3微軟的發(fā)布會上，微軟使用了虛擬演播室的技術(shù)展示了HoloLens最終可以達(dá)到的效果——可能這個發(fā)布會上也是虛擬演播室能達(dá)到的最好效果。微軟同樣使用了復(fù)雜的攝像機追蹤技術(shù)，讓觀眾信服的展示了HoloLens的增強現(xiàn)實。

(微軟的HoloLens)

所以，未來的增強現(xiàn)實下的閱兵會是怎樣的?按照慣例，我國下一次大閱兵將在2019年舉辦。那時的閱兵可能就會有增強現(xiàn)實的參與了——觀眾將能夠?qū)崟r的使用自己的增強現(xiàn)實眼鏡，或者在屏幕上看到威武雄壯的部隊，伴隨對其武器裝備的介紹，細(xì)節(jié)放大，甚至拆解……我們看閱兵也將不限于現(xiàn)場或者電視機前這僅有的兩種姿勢，而也可能能夠使用虛擬現(xiàn)實的方式身臨其境。