AI換臉用來拍電影？迪士尼自研算法突破百萬高清像素

AI換臉又一次刷爆了朋友圈

最近云畢業(yè)正當(dāng)時(shí)，各家科技公司順勢推出了自己的AI換臉技術(shù)，結(jié)果又被同學(xué)們玩壞了！

換臉這件事絕不能少了業(yè)界大佬們！

不得不說，好看是不分性別的，彥宏兄氣質(zhì)滿分！

仔細(xì)來看，AI換臉技術(shù)近些年還是成熟不少，整體的面部貼合度、細(xì)節(jié)處理都有了明顯的提升。近日，Deepfake領(lǐng)域再一次取得了重要突破。據(jù)了解，迪士尼公司公布了一項(xiàng)最新研究成果，聲稱其人臉交換技術(shù)可達(dá)到業(yè)內(nèi)最高水平。

從效果圖來看，果然一點(diǎn)挑不出毛?。?/p>

據(jù)了解，迪士尼研究室與蘇黎世聯(lián)邦理工學(xué)院合作基于GAN提出了一種新型算法，它可以自動(dòng)實(shí)現(xiàn)圖像/視頻中的人臉交換，同時(shí)保證數(shù)百萬級(jí)的高分辨率。

更值得關(guān)注的是，目前這項(xiàng)研究成果已初步計(jì)劃用于好萊塢大片制作，據(jù)說因?yàn)樗梢愿纳齐娪百|(zhì)量和后期制作成本。

走進(jìn)好萊塢大片的Deepfake

人臉交換在電影行業(yè)并不罕見。在一些好萊塢大片經(jīng)常會(huì)用到替身演員完成一些專業(yè)的、高難度動(dòng)作。為了保證電影效果，后期制作會(huì)花費(fèi)大量成本。然而常見的計(jì)算機(jī)圖形合成技術(shù)，效果常常差強(qiáng)人意，甚至?xí)轮嘏摹?/p>

這在時(shí)間和金錢方面都是非常大的成本消耗，因此，迪士尼公司特此聯(lián)合蘇黎世聯(lián)邦理工學(xué)院開展了此項(xiàng)合作研究。

近日，迪士尼公司對完宣稱，他們研究了一款新型人臉交換技術(shù)，可用于電影或電視劇制作。他們聲稱該技術(shù)可在人臉交換過程中產(chǎn)生高分辨率，逼真的圖像/視頻，非常適合大屏幕播放。

局部融合更考驗(yàn)換臉的技術(shù)難度。為了驗(yàn)證算法性能，研究人員他們沒有對人臉的眼部、唇部等局部器官進(jìn)行了融合，效果也是非常驚人。

基于圖一，圖二、三分別進(jìn)行了唇部和眼部的局部人臉融合，可以看出局部融合度非常高，高清、自然，看不出一點(diǎn)破綻。同時(shí)它能夠隨著唇部抖動(dòng)實(shí)時(shí)貼合，毫無跳脫感。而且研究人員證實(shí)，視頻中的人臉交換一般比靜態(tài)圖像效果更好。

局部人臉交換在動(dòng)態(tài)視頻中的融合優(yōu)勢，這在電影場景中是非常必要的。

更值得關(guān)注的是它可以產(chǎn)生百萬級(jí)像素的分辨率。不過，研究人員表示他們采用了一種漸進(jìn)式的方法（Progressive Training）對源視頻/圖像進(jìn)行預(yù)訓(xùn)練，算法可從中提取較高分辨率圖像。下圖可明顯看到經(jīng)訓(xùn)練的人臉像素遠(yuǎn)高于未經(jīng)訓(xùn)練的結(jié)果。

研究人員介紹，基于高清分辨率和局部融合技術(shù)的新型算法最大限度地?cái)U(kuò)展了人臉交換在電影中的應(yīng)用。除了替身演員的全臉交換外，如需要刻畫一位年齡逐漸增長的任務(wù)或已經(jīng)進(jìn)入垂暮之年的老人，可以根據(jù)需要為角色添加細(xì)微皺紋、發(fā)型和體態(tài)。

另外，它可以與其他作品完成表演上的替換，當(dāng)然這里可以對原視頻的背景和光照進(jìn)行特殊處理，以使他可以融入電影場景中。這也是區(qū)別于傳統(tǒng)后期制作的一種新方法。

基于梳狀模型的最新算法

那么這項(xiàng)AI換臉技術(shù)是如何實(shí)現(xiàn)的呢？我們先來看一組完整的換臉路徑圖：

步驟1和2：對源圖像進(jìn)行面部識(shí)別、特征提取，以及標(biāo)準(zhǔn)化剪裁（1024x1024）;

步驟3：將圖像輸入通用編碼器進(jìn)行模型訓(xùn)練；

步驟4：將解碼后輸出的圖像與需要匹配的目標(biāo)進(jìn)行多頻帶混合，最終得到人臉交換后的效果圖。

其中通用編碼器的訓(xùn)練模型是一個(gè)關(guān)鍵，這里研究人員采用的是一種漸進(jìn)式梳狀網(wǎng)絡(luò)結(jié)構(gòu)（Comb Model）面部交換主要是通過域轉(zhuǎn)移的方法來實(shí)現(xiàn)。我們使用通用編碼器將經(jīng)預(yù)處理的圖像嵌入共享的潛在空間中，然后使用與之對應(yīng)的解碼器將這些嵌入映射回像素空間中。通常域轉(zhuǎn)移主要在這兩個(gè)空間中進(jìn)行切換，但在本文中，研究人員擴(kuò)展了一種新的思路。

如我們圖中看到的，經(jīng)編碼器處理的圖像，被解碼器分支到P個(gè)域中，研究人員將這種架構(gòu)成為梳狀模型。這里各個(gè)編碼器就相當(dāng)于梳狀結(jié)構(gòu)的“齒子”。

在這里，單個(gè)梳狀模型可以處理多個(gè)源目標(biāo)的人臉融合，而且與雙向模型相比，它可以有效減少訓(xùn)練的時(shí)間，同時(shí)明顯提高圖像的保真度。

如前文所說，模型訓(xùn)練采用的是一種漸進(jìn)式的方式。該過程通過對高分辨率圖像進(jìn)行下采樣，得到低分辨率圖像，然后在訓(xùn)練中再逐步輸入高分辨率，逐漸擴(kuò)展網(wǎng)絡(luò)的容量，最終得帶高保真圖像。

不過，這里要注意的是，最終輸出的圖像分辨率會(huì)受到原始數(shù)據(jù)集圖像分辨率的限制。如果數(shù)據(jù)集缺乏高分辨率，可以采用超分辨率的方式對圖像進(jìn)行預(yù)處理，不過最好采用特定于面部的SR訓(xùn)練方法。

除此之外，研究人員介紹，梳狀模型和多頻帶的混合策略，還有助于保持融合背景的光線和對比度。

對比分析，優(yōu)勢明顯

研究人員將漸進(jìn)式梳狀模型與目前三種開源的人臉技術(shù)，分別為Deepfake、DeepFaceLab和Nirkin et aI進(jìn)行了對比研究。其中，Nirkin et aI采用三維可變模型，不需要預(yù)訓(xùn)練。后兩者采用Y形自動(dòng)編碼器結(jié)構(gòu)的實(shí)現(xiàn)。

人臉交換方法的比較

本次試驗(yàn)對五組人臉進(jìn)行了對比。前兩列分別源圖像和目標(biāo)圖像，需要進(jìn)行AI融合，從之后的圖像可以看，本次研究模型在細(xì)節(jié)融合、圖像分辨率以及陰影處理上，要高于其他算法模型。

而且，它采用的多頻帶混合在消除偽影方面要明顯優(yōu)于泊松混合。DeepFakes和DeepFaceLab都的使用是泊松混合（Poisson）。

不過，研究也存在明顯的局限性，比如顯示無法對戴眼鏡的人進(jìn)行穩(wěn)定的人臉交換，不是因?yàn)檠坨R部分無法渲染，而是無法將臉部與周圍圖像混合。研究人員曾嘗試調(diào)整輸入源與之相匹配，但結(jié)果時(shí)好時(shí)壞。、

不過，研究人員也解釋在實(shí)際應(yīng)用或電影場景中，可能影響不大。