照片光線不是很好?不用擔心,人工智能軟件可以幫你解決。
據(jù)國外媒體報道,來自英偉達(Nvidia)、芬蘭阿爾托大學(Aalto University)和美國麻省理工大學(Massachusetts Institute of Technology)的計算機科學家們訓練了一種神經(jīng)網(wǎng)絡(luò),可以恢復(fù)被噪聲破壞的圖像,在數(shù)毫秒內(nèi)將模糊圖像變得清晰。雖然計算機視覺算法已經(jīng)被用于改善像Googel Pixel 2和iPhone X這樣的智能手機拍攝的照片,但此項技術(shù)卻更進一步。
這項新技術(shù)的訓練過程與谷歌和蘋果等公司訓練手機軟件清理圖片的方式略有不同。
這款名為noise2noise的新模型無需查看大量高分辨率樣本示例就可以學習圖像清晰化。
“我們將基本的統(tǒng)計推理應(yīng)用于通過機器學習進行信號重建的過程中,學習將被損壞的觀察值映射到一個干凈的信號上,我們得出了一個簡單而有力的結(jié)論: 在一些常見情況下,未觀察原始干凈的信號就學會恢復(fù)信號是有可能的。”研究者們在發(fā)表論文的摘要中如此寫道。
這項技術(shù)的理論基礎(chǔ)有點令人費解,傳統(tǒng)技術(shù)更多的是通過估計低分辨率和高分辨率圖像對之間的像素值差異來最小化損失函數(shù)。
像素可以采用多種值來重建更清晰的圖像,經(jīng)過訓練,神經(jīng)網(wǎng)絡(luò)學會了將這些值平均化。在對成對的損壞圖像進行訓練時,如果這兩幅圖像的像素值差異與清晰的和模糊的圖像之間差異相似,同樣的方法也適用。
“這意味著,原則上,我們可以用零均值噪聲破壞神經(jīng)網(wǎng)絡(luò)的訓練樣本,而不改變神經(jīng)網(wǎng)絡(luò)的學習內(nèi)容。”
模型訓練
研究小組使用從ImageNet數(shù)據(jù)集中抽取的5萬張圖像進行了noise2noise模型的訓練,并為每張圖像添加了隨機噪聲分布。系統(tǒng)必須估計圖像中噪聲的大小并將其移除。
該系統(tǒng)在三個圖像數(shù)據(jù)集中進行了測試,這些數(shù)據(jù)集包括了建筑物圖像、人像以及醫(yī)療共振成像圖。
然而,這個模型并不能糾正所有的缺陷。它不能將圖像中鏡框外的物體拉回,也不能重新定位照片獲得最佳角度。但是當缺乏具有足夠高分辨率的圖像來進行樣本訓練時,這項技術(shù)就非常有用了。
“現(xiàn)實情況中有時很難獲得的干凈的訓練數(shù)據(jù),比如:低光攝影、基于物理規(guī)則的渲染(BPR)以及磁共振成像,”研究小組說,“對這一想法的驗證,使我們不用再費力收集干凈數(shù)據(jù),就可以獲得將此技術(shù)應(yīng)用在此類情景中的潛在巨大收益。當然,世界上沒有免費的午餐——我們無法獲取輸入數(shù)據(jù)中不存在的特性——但這項技術(shù)也適用于有明確目標的訓練。”
這項研究的成果將于本周在瑞典舉行的國際機器學習大會上得到展示。