用于圖像編碼的超解像技術

NHK放送技術研究所于正在舉行的“技研展2011”上，公開了進行了將超解像技術應用于圖像編解碼的技術演示。該技術通過在原來的圖像編解碼技術的基礎上“外加”視頻縮小(降頻轉換)和超解像技術(升頻轉換)，來避免在編碼時使用過高的壓縮率，以減輕畫質劣化。

　　具體做法為，首先對分辨率高的圖像進行圖像縮小處理。然后，采用原來的H.264對該圖像進行編碼。傳輸后，再用H.264進行解碼。至此還保持著圖像縮小后的尺寸，因此還需要采用超解像技術將其恢復到原來的圖像尺寸。

　　據(jù)介紹這樣做的優(yōu)點在于，無需改變原有的編解碼技術，就能利用外加的技術和系統(tǒng)改進編解碼。編碼時能夠選擇合理的壓縮率，具有減輕畫質劣化的效果。

　　隨著圖像縮小產生的畫質劣化較輕。原因是將圖像縮小時采用的各種參數(shù)及畫質補償信息作為輔助信息發(fā)送到與影像數(shù)據(jù)不同的影像接收端，以供利用超解像技術恢復圖像時使用。

　　之所以能夠實現(xiàn)上述技術，是因為超解像技術的發(fā)展。“原來的超解像技術存在邊緣處理方面的技術課題”(解說員)。最近，該課題得到大幅改善，因此才實現(xiàn)了此次的應用。

　　不過，現(xiàn)在存在的課題是數(shù)據(jù)處理復雜，處理時的負荷和延遲較大。一般而言，圖像編碼技術的編碼處理越復雜，處理規(guī)模越大，就越能夠獲得劣化少的圖像壓縮效果。此次的方法是否真比上述的一般編解碼改善方法有優(yōu)勢，將是今后探討的課題。

　　“水的流動優(yōu)先”還是“邊緣優(yōu)先”?

　　此次，NHK技研作為具體的安裝方法，提出了A和B兩種方法。

　　方法A是在圖像縮小時根據(jù)圖案來改變像素壓縮率的方法。圖案復雜的部分降低壓縮率，而圖案簡單的部分則大膽間隔像素以大幅縮小圖像。

　　這樣，縮小后的圖像變?yōu)閴嚎s率隨著圖案明顯不同的變形圖像。這一點在將壓縮率不同的數(shù)據(jù)作為輔助信息發(fā)送給接收端并采用超解像技術恢復時使用。“方法A適于再現(xiàn)水的流動及光的反射等隨機動態(tài)數(shù)據(jù)。不過，在安裝到處理電路的硬件中還需要解決很多問題”。

　　方法B則是通過發(fā)送端掌握源于圖像縮小和編碼處理算法的圖像劣化信息，并將其用于優(yōu)化圖像縮小技術的方法。

　　具體做法是首先將通過編碼縮小了的圖像數(shù)據(jù)通過發(fā)送端解碼及采用超解像技術復原。然后，將復原后的圖像與原來的輸入圖像進行比較，調整圖像縮小時的參數(shù)，以使源于圖像處理算法的圖像劣化降至最小。劣化信息作為輔助信息也發(fā)送給接收端。

　　方法B“最適合圖像不連續(xù)變化的邊緣處理。有時還采用小波分析等易于實現(xiàn)硬件電路的技術，比較容易安裝”(解說員)。據(jù)NHK技研介紹，今后還將探討將方法A和方法B相結合的方法。

　　利用超解像技術的新圖像編碼技術的概要。通過演示可以看出，采用新技術輸出的圖像比利用原編碼技術形成的圖像劣化明顯減少