AI換臉又一次刷爆了朋友圈
最近云畢業(yè)正當時，各家科技公司順勢推出了自己的AI換臉技術(shù)，結(jié)果又被同學們玩壞了！
換臉這件事絕不能少了業(yè)界大佬們！
不得不說，好看是不分性別的，彥宏兄氣質(zhì)滿分！
仔細來看，AI換臉技術(shù)近些年還是成熟不少，整體的面部貼合度、細節(jié)處理都有了明顯的提升。近日，Deepfake領(lǐng)域再一次取得了重要突破。據(jù)了解，迪士尼公司公布了一項最新研究成果，聲稱其人臉交換技術(shù)可達到業(yè)內(nèi)最高水平。
從效果圖來看，果然一點挑不出毛??！
據(jù)了解，迪士尼研究室與蘇黎世聯(lián)邦理工學院合作基于GAN提出了一種新型算法，它可以自動實現(xiàn)圖像/視頻中的人臉交換，同時保證數(shù)百萬級的高分辨率。
更值得關(guān)注的是，目前這項研究成果已初步計劃用于好萊塢大片制作，據(jù)說因為它可以改善電影質(zhì)量和后期制作成本。
走進好萊塢大片的Deepfake
人臉交換在電影行業(yè)并不罕見。在一些好萊塢大片經(jīng)常會用到替身演員完成一些專業(yè)的、高難度動作。為了保證電影效果，后期制作會花費大量成本。然而常見的計算機圖形合成技術(shù)，效果常常差強人意，甚至會翻新重拍。
這在時間和金錢方面都是非常大的成本消耗，因此，迪士尼公司特此聯(lián)合蘇黎世聯(lián)邦理工學院開展了此項合作研究。
近日，迪士尼公司對完宣稱，他們研究了一款新型人臉交換技術(shù)，可用于電影或電視劇制作。他們聲稱該技術(shù)可在人臉交換過程中產(chǎn)生高分辨率，逼真的圖像/視頻，非常適合大屏幕播放。
局部融合更考驗換臉的技術(shù)難度。為了驗證算法性能，研究人員他們沒有對人臉的眼部、唇部等局部器官進行了融合，效果也是非常驚人。
基于圖一，圖二、三分別進行了唇部和眼部的局部人臉融合，可以看出局部融合度非常高，高清、自然，看不出一點破綻。同時它能夠隨著唇部抖動實時貼合，毫無跳脫感。而且研究人員證實，視頻中的人臉交換一般比靜態(tài)圖像效果更好。
局部人臉交換在動態(tài)視頻中的融合優(yōu)勢，這在電影場景中是非常必要的。
更值得關(guān)注的是它可以產(chǎn)生百萬級像素的分辨率。不過，研究人員表示他們采用了一種漸進式的方法（Progressive Training）對源視頻/圖像進行預訓練，算法可從中提取較高分辨率圖像。下圖可明顯看到經(jīng)訓練的人臉像素遠高于未經(jīng)訓練的結(jié)果。
研究人員介紹，基于高清分辨率和局部融合技術(shù)的新型算法最大限度地擴展了人臉交換在電影中的應(yīng)用。除了替身演員的全臉交換外，如需要刻畫一位年齡逐漸增長的任務(wù)或已經(jīng)進入垂暮之年的老人，可以根據(jù)需要為角色添加細微皺紋、發(fā)型和體態(tài)。
另外，它可以與其他作品完成表演上的替換，當然這里可以對原視頻的背景和光照進行特殊處理，以使他可以融入電影場景中。這也是區(qū)別于傳統(tǒng)后期制作的一種新方法。
基于梳狀模型的最新算法
那么這項AI換臉技術(shù)是如何實現(xiàn)的呢？我們先來看一組完整的換臉路徑圖：
步驟1和2：對源圖像進行面部識別、特征提取，以及標準化剪裁（1024x1024）;
步驟3：將圖像輸入通用編碼器進行模型訓練；
步驟4：將解碼后輸出的圖像與需要匹配的目標進行多頻帶混合，最終得到人臉交換后的效果圖。
其中通用編碼器的訓練模型是一個關(guān)鍵，這里研究人員采用的是一種漸進式梳狀網(wǎng)絡(luò)結(jié)構(gòu)（Comb Model）面部交換主要是通過域轉(zhuǎn)移的方法來實現(xiàn)。我們使用通用編碼器將經(jīng)預處理的圖像嵌入共享的潛在空間中，然后使用與之對應(yīng)的解碼器將這些嵌入映射回像素空間中。通常域轉(zhuǎn)移主要在這兩個空間中進行切換，但在本文中，研究人員擴展了一種新的思路。
如我們圖中看到的，經(jīng)編碼器處理的圖像，被解碼器分支到P個域中，研究人員將這種架構(gòu)成為梳狀模型。這里各個編碼器就相當于梳狀結(jié)構(gòu)的“齒子”。
在這里，單個梳狀模型可以處理多個源目標的人臉融合，而且與雙向模型相比，它可以有效減少訓練的時間，同時明顯提高圖像的保真度。
如前文所說，模型訓練采用的是一種漸進式的方式。該過程通過對高分辨率圖像進行下采樣，得到低分辨率圖像，然后在訓練中再逐步輸入高分辨率，逐漸擴展網(wǎng)絡(luò)的容量，最終得帶高保真圖像。
不過，這里要注意的是，最終輸出的圖像分辨率會受到原始數(shù)據(jù)集圖像分辨率的限制。如果數(shù)據(jù)集缺乏高分辨率，可以采用超分辨率的方式對圖像進行預處理，不過最好采用特定于面部的SR訓練方法。
除此之外，研究人員介紹，梳狀模型和多頻帶的混合策略，還有助于保持融合背景的光線和對比度。
對比分析，優(yōu)勢明顯
研究人員將漸進式梳狀模型與目前三種開源的人臉技術(shù)，分別為Deepfake、DeepFaceLab和Nirkin et aI進行了對比研究。其中，Nirkin et aI采用三維可變模型，不需要預訓練。后兩者采用Y形自動編碼器結(jié)構(gòu)的實現(xiàn)。
人臉交換方法的比較
本次試驗對五組人臉進行了對比。前兩列分別源圖像和目標圖像，需要進行AI融合，從之后的圖像可以看，本次研究模型在細節(jié)融合、圖像分辨率以及陰影處理上，要高于其他算法模型。
而且，它采用的多頻帶混合在消除偽影方面要明顯優(yōu)于泊松混合。DeepFakes和DeepFaceLab都的使用是泊松混合（Poisson）。
不過，研究也存在明顯的局限性，比如顯示無法對戴眼鏡的人進行穩(wěn)定的人臉交換，不是因為眼鏡部分無法渲染，而是無法將臉部與周圍圖像混合。研究人員曾嘗試調(diào)整輸入源與之相匹配，但結(jié)果時好時壞。、
不過，研究人員也解釋在實際應(yīng)用或電影場景中，可能影響不大。
下載文檔
