昨天,李榮浩又因為眼睛小上熱搜了。
在名為 #特效都整不大李榮浩的眼睛# 的話題下面,有一個李榮浩楊丞琳二人結(jié)婚照的換臉視頻,只見換臉后的李榮浩眼睛完全變成了一條線,孫紅雷也轉(zhuǎn)發(fā)微博“五十步笑百步”:
這個特效太過分了,李先生,有人黑你!
對此,網(wǎng)友的評論清一色成了“哈哈哈哈哈”。
細心的人可能留意到了視頻里的抖音 APP logo。沒錯!上面這個對小眼睛群體不怎么友好的功能正是抖音新上線的「變身漫畫」特效。
而在這樣的真人一鍵變身漫畫的效果背后,是生成式對抗網(wǎng)絡 GAN(Generative Adversarial Networks)。
一鍵打破次元壁
當前,抖音「變身漫畫」特效榮登熱門挑戰(zhàn)榜的“本周實時榜”(2002 年 6 月 15-21 日)TOP 1,已有約 867.2 萬用戶使用。
其中,不少明星拍了同款視頻,玩法也是五花八門。
比如陳赫拿出神似蒼蠅拍的“神秘鑰匙”解除二次元封印。
鄧紫棋擦玻璃換臉。
張藝興來一段 rap 的功夫已經(jīng)不知道用手勢在次元之間穿梭了多少回了。
進入二次元后,明星們的發(fā)型、五官等細節(jié)“神還原”,同時還多了一絲俏皮靈動。
不過,把真人變成漫畫畫風并不稀奇了。近幾年特效拍照 APP 層出不窮,用戶想把圖片、視頻變成漫畫風、古風、手繪風、油畫風,甚至想換性別、變年齡,都不是問題。
生成式對抗網(wǎng)絡 GAN
提到換臉,就繞不開一項技術(shù)—;—;生成式對抗網(wǎng)絡 GAN。
雷鋒網(wǎng)(公眾號:雷鋒網(wǎng))此前曾報道,GAN 作為一種深度學習模型,是機器學習中一個較新的概念,首次出現(xiàn)于 2014 年 10 月前谷歌大腦著名科學家 Ian Goodfellow 及其團隊發(fā)表的論文《對抗式生成網(wǎng)絡》(Generative Adversarial Networks)中。
機器學習的模型分為生成模型(Generative Model)和判別模型(Discriminative Model)兩種,顧名思義,其各自的功能分別是根據(jù)數(shù)據(jù)集生成和判斷。
而 Ian Goodfellow 之所以能成為“GANs 之父”,就在于創(chuàng)造性地提出了一個通過對抗(Adversarial)估計生成模型的概念,同時訓練生成模型和判別模型,讓二者進行對抗,生成模型要盡可能地生成真實的圖片去欺騙判別模型,與此同時判別模型也要盡量把生成模型生成的圖片和原數(shù)據(jù)集區(qū)分開。
這一過程就像游戲中的兩個玩家進行 battle,一開始兩臉懵逼,最后“真理越辯越明”。這種機器之間自發(fā)的相互學習,可以說是非常智能了。
而 GAN 的種類也不少,其中最常見的比如說 Cycle GAN。
實際上,CycleGAN 是人臉轉(zhuǎn)換早期的一個重要嘗試,能從源轉(zhuǎn)換到目標,也能進行反向轉(zhuǎn)換,從而便捷地學習了兩個類別之間的轉(zhuǎn)換關(guān)系,也更好地保證了轉(zhuǎn)換后的圖像品質(zhì)。
如上圖所示,能把斑馬變成馬,那么即便是換個動作,馬也能再次轉(zhuǎn)換成斑馬;同理,夏天能變冬天,換了場景后冬天也可以變回夏天。
雖然上文所說的抖音動漫風換臉特效并未公開具體的技術(shù)信息,但此前將人臉變?yōu)槁嬓蜗蟮膰L試的確用到了 CycleGAN,相關(guān)論文也在 2019 年 7 月登上了預印本平臺 arXiv。
值得一提的是,這項研究利用的是所謂的 landmark assisted CycleGAN。
據(jù)論文介紹,這里的“l(fā)andmark”不是我們經(jīng)常說的“地標”,而是指面部特征,所以我們可以將這種技術(shù)理解為 CycleGAN 特別版—;—;「有人臉特征輔助的 CycleGAN」。
技術(shù)如何,還是看看效果(雷鋒網(wǎng)注:右二列為 CycleGAN 生成;右一列由有人臉特征輔助的 CycleGAN 生成)。
現(xiàn)實中的美女變成了二次元小蘿莉。
型男生成的漫畫形象看上去也不錯。
此外,也有研究團隊曾基于 GAN,利用面部特征,將低分辨率圖像轉(zhuǎn)換為高分辨率圖像。感覺多年的老近視被治好了!
看到這里是不是想感嘆一句真神奇?
其實還有更神奇的,比如大變活人。
這是西班牙一家互聯(lián)網(wǎng)國際象棋棋盤制造商 REGIUM 網(wǎng)站上的員工個人信息頁面,看上去似乎并沒有什么異常。但實際上,框出來的四位工程師都是“假人”,現(xiàn)實生活中并不存在。
雷鋒網(wǎng)了解到,這些“人造人”來自國外一個造臉網(wǎng)站 this person does not exist.com,而這些照片也都是基于 GAN。
不過,隨著換臉技術(shù)出現(xiàn)的還有諸多問題—;—;比如曾經(jīng)一夜爆火、三天涼涼的 ZAO APP 和在全世界范圍內(nèi)臭名昭著的 Deepfake,都引起了各界的擔憂。
怎樣合理地利用這類換臉技術(shù),是個需要思考的問題。
猜你喜歡的商品>>
一次性醫(yī)用外科口罩50只 39.9元
南極人充電式聲波電動牙刷 券后價7.9元
【三只松鼠】 早餐蛋糕面包兩箱 券后價 32.9元
超輕透氣減震跑步運動鞋 券后價79元
國民高彈緩震 運動休閑鞋 券后價74元
親膚大豆纖維七孔空調(diào)被 券后價 79元
騰訊視頻會員年費99元/京東plus聯(lián)合年卡128元