繼在2019網(wǎng)絡(luò)春晚中出現(xiàn)的與撒貝寧十分相似的虛擬主持人“小小撒”之后,近期播出的《2019主持人大賽》也引入了一項(xiàng)虛擬形象生成技術(shù)——“在線大眾評審”。大賽主持人撒貝寧說,這個節(jié)目最大亮點(diǎn)是智能大眾評委席,通過個性化人工智能(Personal AI),每位智能大眾評委身后都是一個真實(shí)的自己,即這些在線評審的虛擬形象均根據(jù)真人評審生成、在線完成評審。
個性化人工智能技術(shù)是如何實(shí)現(xiàn)的?科技日報記者近日采訪到獨(dú)家支持這項(xiàng)“黑科技”的相關(guān)負(fù)責(zé)人。
通過自拍圖片幾秒生成虛擬形象
在節(jié)目現(xiàn)場,400名在線大眾評審?fù)ㄟ^手機(jī)客戶端自拍,即能獲得屬于自己的三維虛擬形象,當(dāng)大眾評審在線收看節(jié)目并對選手打分時,三維虛擬形象可代表其出現(xiàn)在千里之外的演播室大廳的虛擬觀眾席上,“觀看”時還會像真人一樣富有表情且輕微搖擺身體……
“目前我們可以實(shí)現(xiàn)通過一個人的單張自拍圖片,幾秒鐘即可生成三維虛擬人形象?!泵绹霞又荽髮W(xué)博士、偶邦智能首席科學(xué)家王睿哲說。
據(jù)介紹,一般傳統(tǒng)算法試圖使用一個光學(xué)成像模型來反推可以解釋當(dāng)前自拍的最佳人臉形狀,這種方法的弊端是:假設(shè)的光學(xué)成像模型過于簡單,無法真正模擬現(xiàn)實(shí)中人臉與光影交互的復(fù)雜情況;缺乏大量的三維人臉數(shù)據(jù)模型,很難有效訓(xùn)練一個深度學(xué)習(xí)模型。
針對這種情況,“在算法上可以采用視覺特效技術(shù),從一個較小的三維人臉數(shù)據(jù)庫,合成大量高精度的人臉自拍圖片用于訓(xùn)練深度學(xué)習(xí)模型,然后利用遷移學(xué)習(xí)技術(shù),把在數(shù)百萬張圖片上訓(xùn)練的人臉識別網(wǎng)絡(luò)進(jìn)一步精化訓(xùn)練,接著利用基于對抗神經(jīng)網(wǎng)絡(luò)的圖片風(fēng)格遷移技術(shù),對自拍照去光影?!蓖躅U苷f。
在效果上,這種單張自拍虛擬人生成技術(shù)可實(shí)現(xiàn)高相似度低面數(shù)的人臉幾何形狀,有效通過手機(jī)端形成高分辨率且去光影的人臉貼圖,可以在各種不同光影下進(jìn)行融入場景的逼真渲染。
形成在線大眾評審的虛擬人像,除了建立及維護(hù)每位在線大眾評審的形象模型之外,技術(shù)團(tuán)隊(duì)還利用了實(shí)時面部追蹤技術(shù)和面部識別技術(shù)保證評審的連線效果,并對現(xiàn)場形象各異的大眾評審3D形象進(jìn)行實(shí)時渲染。
那么,如何做到讓虛擬人臉部如真人一樣富有生動表情和動作呢?王睿哲表示,可以通過面部動作捕捉技術(shù)實(shí)現(xiàn)。首先利用隨機(jī)森林算法實(shí)時在人臉定位特征點(diǎn),即臉部輪廓,五官如眉毛、眼睛、鼻子和嘴角等,然后算法利用這些特征點(diǎn)進(jìn)而逆向推導(dǎo)出一個通用面部肌肉運(yùn)動模型參數(shù),用于驅(qū)動用戶的虛擬人模型,實(shí)現(xiàn)虛擬人與真實(shí)人面部動作同步的效果。
催生新型互動生活消費(fèi)模式
據(jù)介紹,為了實(shí)現(xiàn)數(shù)百個虛擬人的實(shí)時渲染效果,團(tuán)隊(duì)對每個模型的服裝,頭發(fā)等進(jìn)行大量減面數(shù)的優(yōu)化處理。還采用了陰影預(yù)處理技術(shù)減少實(shí)時渲染的負(fù)荷,不同細(xì)節(jié)技術(shù)即近景采用高細(xì)節(jié)渲染,遠(yuǎn)景采用低細(xì)節(jié)渲染,以節(jié)省渲染運(yùn)算成本。
“世界將因?yàn)槿斯ぶ悄芗夹g(shù)變得更近更平。我們正在嘗試實(shí)現(xiàn)每個人都能擁有個人專屬的智能虛擬形象,仿佛在平行世界里擁有另一個智能化的自己。通過智能虛擬觀眾席的系統(tǒng),即使是在世界各地的人,都可以出現(xiàn)在任何一個國家的電視、互聯(lián)網(wǎng)屏幕上,與當(dāng)?shù)赜^眾進(jìn)行沉浸式互動。不僅如此,那個虛擬數(shù)字形象的他(她)長得像用戶本人,還能在一定時間內(nèi)自我完善和進(jìn)化,如在聲音特征上學(xué)習(xí)用戶,最終達(dá)到逼真的狀態(tài)?!迸及钪悄蹸EO鄭毅表示。
據(jù)介紹,在電視節(jié)目中,除虛擬形象設(shè)計以外,人工智能在大眾娛樂行業(yè)的應(yīng)用還包括內(nèi)容制作階段的選角、策劃、拍攝、剪輯,觀眾觀看階段的算法推送、面部識別、機(jī)器學(xué)習(xí)以及將影視娛樂產(chǎn)品變現(xiàn)階段的算法推送及分析等。
鄭毅說,智能虛擬人技術(shù)不僅可以通過AI技術(shù)驅(qū)動虛擬人的表情和動作,降低視頻內(nèi)容的制作成本,而且通過推出有人設(shè)的智能虛擬人,像虛擬主持人、虛擬主播、專屬的企業(yè)虛擬代言人等,可以延展工作時長,提高產(chǎn)能,創(chuàng)造新的數(shù)字經(jīng)濟(jì)價值。
比如,有相關(guān)證券機(jī)構(gòu)已經(jīng)定制專屬的虛擬代言人,通過快速制作互動短視頻,為投資者提供投資者教育等服務(wù)。在5G和AI構(gòu)建的數(shù)字經(jīng)濟(jì)里,智能虛擬人不但可以降低成本,更令人關(guān)注的是其正在催生新型互動生活消費(fèi)模式的出現(xiàn)。
鄭毅表示,人機(jī)共生時代新互動生態(tài)體系的構(gòu)建,讓生活變得更高效、有趣,為用戶帶來前所未有的虛擬社交體驗(yàn)。AI虛擬形象不僅是用戶的高智能分身,可以幫忙打理各種事情,甚至在不久的將來,虛擬人或許能夠有助人們在人間留住已故親人或摯愛的生動形象,從某種意義上講,讓人類獲得“永生”。