H.264/AVC是什么?
H.264/AVC標(biāo)準(zhǔn)是由ITU-T和ISO/IEC聯(lián)合開發(fā)的,定位于覆蓋整個(gè)視頻應(yīng)用領(lǐng)域,包括:低碼率的無線應(yīng)用、標(biāo)準(zhǔn)清晰度和高清晰度的電視廣播應(yīng)用、Internet上的視頻流應(yīng)用,傳輸高清晰度的DVD視頻以及應(yīng)用于數(shù)碼相機(jī)的高質(zhì)量視頻應(yīng)用等等。
ITU-T給這個(gè)標(biāo)準(zhǔn)命名為H.264(以前叫做H.26L),而ISO/IEC稱它為MPEG-4 高級(jí)視頻編碼(Advanced Video Coding,AVC),并且它將成為MPEG-4標(biāo)準(zhǔn)的第10部分。既然AVC是當(dāng)前MPEG-4標(biāo)準(zhǔn)的拓展,那么它必然將受益于MPEG-4開發(fā)良好的基礎(chǔ)結(jié)構(gòu)(比如系統(tǒng)分層和音頻等)。很明顯,作為MPEG-4高級(jí)簡(jiǎn)潔框架(Advanced Simple Profile,ASP)的MPEG-4 AVC將會(huì)優(yōu)于當(dāng)前的MPEG-4視頻壓縮標(biāo)準(zhǔn),它將主要應(yīng)用在具有高壓縮率和分層次質(zhì)量需求的方向。
就像在下邊“視頻編碼歷史”表格中看到的,ITU-T和ISO/IEC負(fù)責(zé)以前所有的國(guó)際視頻壓縮標(biāo)準(zhǔn)的定制。到目前為止,最成功的視頻標(biāo)準(zhǔn)是MPEG-2,它已經(jīng)被各種市場(chǎng)領(lǐng)域所廣泛接受比如DVD、數(shù)字電視廣播(覆蓋電纜和通訊衛(wèi)星)和數(shù)字機(jī)頂盒。自從MPEG-2技術(shù)產(chǎn)生以來,新的H.264/MPEG-4 AVC標(biāo)準(zhǔn)在編碼效率和質(zhì)量上有了巨大的提高。隨著時(shí)間的過去,在許多現(xiàn)有的應(yīng)用領(lǐng)域,H.264/MPEG-4 AVC將會(huì)取代MPEG-2和MPEG-4,包括一些新興的市場(chǎng)(比如ADSL視頻)。
H.264/AVC核心技術(shù)概覽
這個(gè)新的標(biāo)準(zhǔn)是由下面幾個(gè)處理步驟組成的:
幀間和幀內(nèi)預(yù)測(cè)
變換(和反變換)
量化(和反量化)
環(huán)路濾波
熵編碼
單張的圖片流組成了視頻,它能分成16X16像素的“宏塊”,這種分塊方法簡(jiǎn)化了在視頻壓縮算法中每個(gè)步驟的處理過程。舉例來說,從標(biāo)準(zhǔn)清晰度標(biāo)準(zhǔn)視頻流解決方案(720X480)中截取的一幅圖片被分成1350(45X30)個(gè)宏塊,然后在宏塊的層次進(jìn)行進(jìn)一步的處理。
幀間預(yù)測(cè)
改良的運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)估計(jì)用來確定和消除存在于視頻流中不同圖片之間的時(shí)間冗余。當(dāng)運(yùn)動(dòng)估計(jì)搜索是根據(jù)過去方向的圖片,那么被編碼的圖片稱為“P幀圖片”,當(dāng)搜索是根據(jù)過去和將來兩種方向的圖片,那么被編碼的圖片被稱為“B幀圖片”。
為了提高編碼效率,為了包含和分離在“H.264運(yùn)動(dòng)估計(jì)-改良的運(yùn)動(dòng)估計(jì)”圖中的運(yùn)動(dòng)宏塊,宏塊被拆分成更小的塊。然后,以前或?qū)淼膱D片的運(yùn)動(dòng)矢量被用來預(yù)測(cè)一個(gè)給定的塊。H.264/MPEG-4 AVC發(fā)明了一種更小的塊,它具有更好的靈活性,在運(yùn)動(dòng)矢量方面可以有更高的預(yù)測(cè)精度。
幀內(nèi)預(yù)測(cè)
不能運(yùn)用運(yùn)動(dòng)估計(jì)的地方,就采用幀內(nèi)估計(jì)用來消除空間冗余。內(nèi)部估計(jì)通過在一個(gè)預(yù)定義好的集合中不同方向上的鄰近塊推測(cè)相鄰像素來預(yù)測(cè)當(dāng)前塊。然后預(yù)測(cè)塊和真實(shí)塊之間的不同點(diǎn)被編碼。這種方法是H.264/MPEG-4 AVC所特有的,尤其對(duì)于經(jīng)常存在空間冗余的平坦背景特別有用。
變換
運(yùn)動(dòng)估計(jì)和內(nèi)部估計(jì)后的結(jié)果通過變換被從空間域轉(zhuǎn)換到頻率域。H.264/MPEG-4 AVC使用整數(shù)DCT4X4變換。而MPEG-2和MPEG-4使用浮點(diǎn)DCT8X8變換。
更小塊的H.264/MPEG-4 AVC減少了塊效應(yīng)和明顯的人工痕跡。整數(shù)系數(shù)消除了在MPEG-2和MPEG-4中進(jìn)行浮點(diǎn)系數(shù)運(yùn)算時(shí)導(dǎo)致的精度損失。
量化
變換后的系數(shù)被量化,減少了整數(shù)系數(shù)的預(yù)測(cè)量和消除了不容易被感知高頻系數(shù)。這個(gè)步驟也用來控制輸出的比特率維持在一個(gè)基本恒定的常量。
環(huán)路濾波
H.264/MPEG-4 AVC標(biāo)準(zhǔn)定義了一個(gè)對(duì)16X16宏塊和4X4塊邊界的解塊過濾過程。在宏塊這種情況下,過濾的目的是消除由于相鄰宏塊有不同的運(yùn)動(dòng)估計(jì)類型(比如運(yùn)動(dòng)估計(jì)和內(nèi)部估計(jì))或者不同的量化參數(shù)導(dǎo)致的人工痕跡。在塊邊界這種情況下,過濾的目的是消除可能由于變換/量化和來自于相鄰塊運(yùn)動(dòng)矢量的差別引起的人工痕跡。環(huán)路濾波通過一個(gè)內(nèi)容自適應(yīng)的非線性算法修改在宏塊/塊邊界的同一邊的兩個(gè)像素。
熵編碼
在熵編碼之前,4X4的量化系數(shù)必須被重排序。根據(jù)這些系數(shù)原來采用的預(yù)測(cè)算法為運(yùn)動(dòng)估計(jì)或者內(nèi)部估計(jì)的不同來選擇不同的掃描類型創(chuàng)建一個(gè)重排序的串行化流。掃描類型按照從低頻到高頻的順序排序這些系數(shù)。既然高頻系數(shù)大多數(shù)趨向于零,那么利用游程編碼就可以縮減零的數(shù)目,從而高效的達(dá)到熵編碼的目的。
熵編碼-系數(shù)的串行化
在熵編碼步驟通過映射符號(hào)的字節(jié)流來表示運(yùn)動(dòng)矢量,量化系數(shù)和宏塊頭。熵編碼通過設(shè)計(jì)用一個(gè)較少的比特位數(shù)來表示頻繁使用的符號(hào),比較多的比特位數(shù)來表示不經(jīng)常使用的符號(hào)。