人工智能技術(shù)讓老電影變4K分辨率
1895年的默片《抵達西奧塔火車站》引起了轟動效應(yīng),據(jù)報道,當時的觀眾第一次看到電影,當他們看到列車迎面駛來的時候,為了安全而瘋狂奔跑躲避,因為他們認為火車會從銀幕當中沖出來,考慮到早期的電影制作水平,那低分辨率的模糊影像,很難想象如果那些驚慌失措的電影愛好者看到丹尼斯·雪里亞夫(Denis Shiryaev)發(fā)布的人工智能增強升級版,會是什么表現(xiàn)。
雪里亞夫利用了兩個公開提供的增強程序:DAIN和Topaz實驗室的Gigapixel AI,將原始視頻轉(zhuǎn)換為4K 60FPS的片段。根據(jù)Topaz實驗室的網(wǎng)站描述,Gigapixel AI使用了一種專有的插值算法,該算法“分析圖像,識別細節(jié)和結(jié)構(gòu),并‘填充’圖像”。實際上,Topaz是在教人工智能精確地銳化讓圖像變得更清晰,即使圖像被放大了6倍。另一方面,DAIN在現(xiàn)有視頻剪輯的關(guān)鍵幀之間使用插幀技術(shù),這和4K電視上的動作平滑功能是同一個概念,通過插幀技術(shù)將視頻的幀速率增加到60 FPS。
這兩個技術(shù)方案都是通過技術(shù)手段提升視頻分辨率的方式,自1998年第一臺高清電視上市以來,視頻技術(shù)就成為了電視節(jié)目制作的重要組成部分,舊式標清電視的分辨率為720*480,一幀畫面顯示的像素總計為345600個,高清電視的顯示分辨率為1920×1080像素總數(shù)2073600個,是標準清晰度的六倍,而4K電視機的分辨率為3840x2160,需要8294400像素。
高清分辨率圖像變成4K分辨率還需要再補充600萬個像素,所以結(jié)束解決方案都是在想辦法讓這額外的像素得以在原始畫面中進行顯示,根據(jù)周圍像素點顯示的內(nèi)容來預(yù)估新增像素的顯示內(nèi)容,這也就是插值技術(shù)的原理。
臨近插值法,簡單的填充與最接近的像素相同顏色的空白像素,這種方法簡單有效,但是會產(chǎn)生鋸齒狀,像素化明顯的圖像。雙線性插值法需要更強的處理能力,它能分析兩個最鄰近像素,并在它們中間形成梯度,從而銳化圖像,雙三次插值法是從16個最鄰近點采樣,結(jié)果是著色最精準,但是圖像變得模糊。通過結(jié)合雙線性和雙三次插值法,電視可以解析每個方法的優(yōu)缺點,并最終生成與原始圖像相比具有最小的光學(xué)質(zhì)量損失的放大圖像。
插值的過程本身是一個計算過程,那么人工智能就有了用武之地,通過使用深度神經(jīng)卷積網(wǎng)絡(luò),像DAIN這樣的程序可以分析和映射視頻剪輯,然后在現(xiàn)有幀之間插入生成的填充圖像。
這種效果還不能稱得上完美,在處理過的圖像中仔細檢查還是能夠看到一些視覺的虛影,而到大銀幕上去看,前景對象和對象的內(nèi)部表現(xiàn)都很不錯,但是如果看對象的邊緣或者背景連接處會感覺有些撕裂。
不過,盡管還有缺陷,但是這些技術(shù)也讓我們看到了誘人的前景,那些老電影能夠因此而實現(xiàn)復(fù)興嗎?