全球首個AI合成女主播中國亮相 網(wǎng)友:主持人要失業(yè)了
大家好,我是 AI 合成主播家族新成員—;—;新小微。
整潔的頭發(fā),藍(lán)色的正裝,「新小微」坐在新聞臺前正經(jīng)地發(fā)話。
AI 合成主播已不稀奇,但能走動、做手勢、換裝的 3D 版 AI 主播,「新小微」是全球第一個。
剛一上崗,「新小微」就被安排參與今年全國兩會期間進(jìn)行新聞資訊播報。
「新小微」上崗
「新小微」是新聞界首個由 AI 驅(qū)動,3D 技術(shù)呈現(xiàn)的 AI 合成主播,其原型為新華社記者趙琬微。
與以前的 AI 合成主播相比,「新小微」最大的不同在于其 3D 特性,豐富了播報形態(tài),可以從不同角度進(jìn)行全方位的呈現(xiàn)。
傳統(tǒng)單一景深
雷鋒網(wǎng)注:「新小微」進(jìn)入虛擬演播室(圖源新華社)
可以看出,此前的 AI 合成主播大多是坐在特定位置上進(jìn)行新聞播報,而「新小微」則能夠進(jìn)行走動、轉(zhuǎn)身等肢體動作。
不僅如此,「新小微」在表情方面也變得多樣;不再只有“職業(yè)假笑”,多了一些微表情。
雷鋒網(wǎng)注:圖源新華社
不得不說,AI 合成主播越來越有“人樣”了。
除了增強(qiáng)了立體感和層次感,在智能性方面,「新小微」也有了新的提升?!感滦∥ⅰ沟捻?xiàng)目負(fù)責(zé)人表示,在人工智能的實(shí)時驅(qū)動下,3D 版 AI 合成主播可實(shí)現(xiàn)功能持續(xù)自我更迭。
比如說,在“變妝/裝”上,「新小微」可以說比以前的 AI 主播“愛美”多了,她的發(fā)型、妝容可以根據(jù)不同場景、不同新聞報道需要而進(jìn)行變換。
更為甚者,「新小微」的妝容還細(xì)致到看得見毛孔。
前面提到,「新小微」在兩會期間將正式上崗,進(jìn)行可量化生產(chǎn)新聞播報視頻。
據(jù)新華社介紹,只要在機(jī)器上輸入相應(yīng)文本內(nèi)容,「新小微」就能進(jìn)行新聞播報,并根據(jù)不同的語義生成表情信息和肢體動作。
隨著「新小微」越來越智能化,經(jīng)過不斷的迭代,「新小微」的舞臺不僅僅在于演播廳。相關(guān)負(fù)責(zé)人表示:
隨著 3D 虛擬場景不斷拓展,「新小微」將走出演播室,在不同場景中更好地滿足新聞呈現(xiàn)的多樣化需求。
如此看來,只要實(shí)力夠,走出演播廳不是夢。
難怪網(wǎng)友們紛紛感嘆,可能要失業(yè)了。
AI 主播進(jìn)入 3D 時代
從表現(xiàn)來看,無論在表情信息、肢體動作、妝容變化,或是在播報新聞的專業(yè)能力方面,「新小微」都優(yōu)于前者。
問題來了,「新小微」作為 AI 合成主播的“后浪”,是借以什么技術(shù)將“前浪”拍在沙灘上的呢?
在數(shù)字人模型方面,「新小微」采用了掃描還原、面部肌肉驅(qū)動、表情肢體捕捉等技術(shù),使其還原出逼真的頭發(fā)和皮膚效果。
在肢體動作方面,其采集工作就涉及到海量數(shù)據(jù),「新小微」的原型趙琬微需要帶著數(shù)據(jù)采集頭盔,有數(shù)百個攝像頭對其身體部位進(jìn)行 360° 全方位“打點(diǎn)”掃描。
不僅如此,攝像頭的數(shù)據(jù)采集工作還包含了表情掃描,無論什么形態(tài)都能夠細(xì)致地捕捉,作為「新小微」誕生的基礎(chǔ)。
另外,基于搜狗分身的端到端多模態(tài)建模技術(shù),「新小微」的建模訓(xùn)練能夠聯(lián)合語音、圖像、文本、3D 肌肉運(yùn)動數(shù)據(jù)等多模態(tài)信息完成。
再加以 AI 算法的驅(qū)動,「新小微」的專業(yè)能力得到了進(jìn)一步提升,其表情變化、唇動、肢體表達(dá)都能夠跟隨語音文本改變。
而對于「新小微」妝容、服裝上的改變,則是基于其“微模塊化”的特性。項(xiàng)目負(fù)責(zé)人進(jìn)一步解釋稱:
就像拼樂高一樣,我們對‘新小微’的各個部位和表情進(jìn)行了模塊化處理,然后重新組裝。
AI 合成主播家族
隨著「新小微」的上崗,這意味著新華社的 AI 合成主播家族又添了新成員。
早在 2018 年 11 月 7 日,新華社就迎來了全球首個全仿真智能 AI 主持人「新小浩」,以主持人邱浩為原型。
據(jù)官方統(tǒng)計數(shù)據(jù),首位 AI 合成主播「新小浩」已在新華社客戶端上持續(xù)為觀眾服務(wù) 500 多天,先后產(chǎn)出 13000 多條新聞報道,累計時長超過 35000 分鐘。
搜狗 CEO 王小川介紹到,該智能 AI 主持人基于「搜狗分身」技術(shù),將真人主播的聲音、唇形、表情動作等特征進(jìn)行提取,然后再通過語音合成、唇形合成、表情合成以及深度學(xué)習(xí)等技術(shù)進(jìn)行克隆。在播報新聞時,只需提供文字,AI 合成主播就能進(jìn)行仿真播報。
不過,雖然第一代 AI 合成主播十分驚艷,但仍存在一些缺憾,如 AI 合成主播此前原型只有男性,沒有女性;合成主播只有面部表情,沒有肢體動作等。
2019 年 2 月-3 月,AI 合成主播進(jìn)行了兩次版本迭代,由此迎來了全球首位 AI 合成女主播「新小萌」。
相對于初代 AI 合成主播,「新小萌」進(jìn)一步增強(qiáng)了用戶的新聞視聽體驗(yàn),不再局限于坐著播新聞,還增加了一些肢體動作。
并且在版本迭代的同時,AI 合成主播的定制周期也在不斷縮減。由于早期技術(shù)尚不成熟,需要用到大量的數(shù)據(jù)。通過迭代之后,錄制時長縮短,且錄取的數(shù)據(jù)也在減少,幾個小時的視頻資料就可以形成一個逼真形象。
從「新小浩」到「新小萌」,再到「新小微」,每一次 AI 合成主播的現(xiàn)身都會伴隨著兩種不同的話語聲音,在贊嘆科技進(jìn)步之余,也有指出不足的發(fā)聲。
以最新推出的「新小微」為例,有網(wǎng)友指出,「新小微」在讀到“AI”時的發(fā)音有些別扭;這也從側(cè)面說明了「新小微」還不夠自然,還沒能夠完全像人一樣。
但是,技術(shù)的發(fā)展是需要一點(diǎn)點(diǎn)的量變累積,在不斷的迭代升級中完善,而從這一層面來看,「新小微」是有所進(jìn)步的。