有碼變高清!AI 修圖 PULSE 一秒還原馬賽克,杜克大學(xué)出品
像素不夠,后期修圖來湊?
在知乎搜索低像素修圖,結(jié)果求助帖多到刷不完,而且從PS技巧、插件神器到各類修圖App教程多到眼花繚亂,重點是效果不知道會怎么樣。
不過,近日杜克大學(xué)(Duke University)研究團隊開發(fā)了一款A(yù)I修圖黑科技PULSE,可以解決所有低像素?zé)馈?jù)說它能夠?qū)D像原始分辨率放大64倍,任何渣畫質(zhì)都可以秒變高清、逼真圖像,甚至被打了馬賽克的人臉圖像,毛孔、皺紋,頭發(fā)也都能被清晰還原。
馬賽克秒變高清人像PULSE是一種新型超分辨率算法,它通過潛在空間探索對照片采樣,可以將16x16像素的低分辨率(Low Resolution,簡稱LR)放大到1024x1024像素的高分辨率(High Resolution,簡稱HR),在幾秒內(nèi)增加了64倍,而傳統(tǒng)方法最多只能放大8倍。
先來看一組示例,修圖界最難處理的LR大頭照,經(jīng)過PULSE也可以秒變高清、細膩的圖像。
更重要的是,PULSE可以定位面部的關(guān)鍵特征,以更高分辨率生成一組類似的細節(jié)。圖中盡管頭像被打上了馬賽克,PULSE也可以自行“想象”出諸如眉毛、睫毛、頭發(fā)、臉型等面部細節(jié),形成高清、逼真人像。
不過,過度虛化產(chǎn)生的人像只是一種虛擬的新面孔,事實上它并不存在。正因如此,這項技術(shù)不能用于身份識別。比如監(jiān)控攝像頭拍攝的失焦、無法辨別的圖片,不能通過PULSE還原成真實存在的人像。
一位杜克大學(xué)研究小組的計算機科學(xué)家Cynthia Rudin說“此前從來沒有如此超高分辨率的圖像被制作出來,它能夠產(chǎn)生不存在的新面孔,而且看起來很真實”。
同時,她補充到,這項研究所采取的技術(shù)可以廣泛應(yīng)用于醫(yī)學(xué)、顯微鏡、天文學(xué),以及衛(wèi)星圖像等領(lǐng)域。另外,該研究團隊已將論文已經(jīng)發(fā)表至預(yù)印論文庫arVix,同時被IEEE國際計算機視覺與模式識別會議(CVPR 2020)收錄。
“縮減損失”,超越常規(guī)修圖法對于一個LR圖像,傳統(tǒng)將HR分辨率部分匹配給LR圖像而獲取超高分辨率(SR)的方式,往往會導(dǎo)致HR圖像出現(xiàn)感光度差、不平滑,畫面失真的情況。
在本次研究中,杜克大學(xué)研究團隊開拓了一種新思路,提出新型超分辨率算法PULSE,它不是遍歷LR圖像來慢慢添加細節(jié),而是發(fā)現(xiàn)與HR相對應(yīng)的LR,通過“縮減損失”的方式得到SR圖像。
原始LR(第一行),PULSE輸出HR(中間行),HR對應(yīng)的LR(最后一行)
PULSE使用了生成對抗網(wǎng)絡(luò)(GAN),它是一種訓(xùn)練模型,顧名思義,通過對抗博弈的方式來進行目標訓(xùn)練。其主要結(jié)構(gòu)包括一個生成器(Generator)和一個鑒別器(Discriminator),在同一組照片訓(xùn)練中,一個負責(zé)訓(xùn)練接收到的圖像并輸出,一個負責(zé)接收該輸出,并檢驗其是否足夠逼真。
以下是與原圖對比后的試驗結(jié)果:
圖中,第一行為原圖,第二行為通過“縮減損失”得到的HR所對應(yīng)的LR,而第三行經(jīng)過PULSE得到的HR,可以看出,盡管與原圖還存在細微的差別,但還原度已經(jīng)非常高。
論文中表明,為了檢驗PULSE在SR方面的優(yōu)勢,杜克大學(xué)研究團隊采用4種不同的圖像縮放方法與其進行了比較研究。本次研究利用CelebA HQ數(shù)據(jù)集中的1440張圖像,以x8,x64的比例因子,對LR面部圖像,尤其是眼部、唇部以及頭發(fā)等細節(jié)之處進行了試驗。
PULSE呈現(xiàn)出了明顯的優(yōu)勢,尤其是在X64分辨率下,模糊頭像被完全還原,尤其是在眼唇等細節(jié)之處,其他方法幾乎達不到這樣的效果。
另外,針對測試結(jié)果,研究人員采用感知超分辨率常見的MOS測試方式,邀請五位評分者對圖像結(jié)果進行了1-5的打分,結(jié)果顯示,HR源高清圖像分辨率得分為3.74,而PULSE達到了3.60,僅差0.14,可以說幾乎達到了真實的高質(zhì)量圖像的水平。
不過,研究人員也承認PULSE還不是很完美。它產(chǎn)生的高分辨率圖像與專業(yè)原圖像相比還有一定的差別。但隨著技術(shù)和工具的改進,這項技術(shù)會被一點點的完善。
現(xiàn)在研究團隊已經(jīng)將PULSE發(fā)布到Github開源平臺,而且收割了569科顆星星。有修圖煩惱的朋友可以安裝體驗一下~(Github地址:https://github.com/adamian98/pulse)