基于統(tǒng)計(jì)分析的H．264快速模式選擇算法

1 宏塊模式選擇
    對(duì)于每一個(gè)宏塊，H．264可以選擇SKIP，inter16×16，inter16×8，inter8×16，inter8×8五種幀間模式和intra16×16，intra4×4兩種幀內(nèi)模式。而其中in-ter8×8又進(jìn)一步可分成inter8×8，inter8×4，inter4×8，inter4×4四種子模式；intra16×16和intra4×4又分別有4種和9種預(yù)測模式。在JM 8．6參考軟件中，選擇所有模式中率失真代價(jià)值最小的模式作為最佳模式。其中率失真代價(jià)函數(shù)定義如下：

    式中：SK為相應(yīng)宏塊；IK為相應(yīng)的編碼模式；Q為量化參數(shù)；DREC是失真度；RREC為碼率。
    從而每個(gè)宏塊都要經(jīng)過168次率失真代價(jià)值的計(jì)算，才能最終選出一種最佳模式，且每次率失真代價(jià)值計(jì)算都要對(duì)殘差進(jìn)行整數(shù)DCT變換、量化、熵編碼、熵解碼、反量化、逆整數(shù)DCT變換。因此，參考軟件對(duì)于模式選擇的計(jì)算量非常大。

2 宏塊模式的統(tǒng)計(jì)特征分析
    表1是JM 8．6模型中，未采用任何快速模式選擇，并且運(yùn)動(dòng)搜索采用全搜索的情況下，各序列所采用的編碼模式的百分比。其中編碼幀數(shù)為100幀，I幀周期為30幀，碼率為73 Kb／s，QP=28。

    由表1可知，無論哪種序列，7種編碼模式所占的比重并不均衡，SKIP模式和inter16×16模式占據(jù)了很大的比重。這說明圖像細(xì)節(jié)還是占據(jù)了一幀圖像的少部分，視頻序列中大部分依然由緩慢變化的背景組成。而選中概率大的SKIP模式的率失真代價(jià)計(jì)算很簡單，因?yàn)闆]有殘差，也就不存在DCT變換，且沒有多參考幀的選擇、運(yùn)動(dòng)搜索；inter16×16模式稍顯復(fù)雜，但也遠(yuǎn)遠(yuǎn)沒有其他幾種模式復(fù)雜。相反，出現(xiàn)概率很小的其他模式運(yùn)算量卻非常大，尤其是inter8×8(inter8×8的運(yùn)動(dòng)搜索運(yùn)算量非常大且子模式多)和intra4×4(預(yù)測模式非常多)。因此，對(duì)所有模式進(jìn)行遍歷選擇時(shí)，實(shí)際上很大一部分時(shí)間是消耗在并未最后起決定作用的幾種模式的代價(jià)值計(jì)算上。因此如果能對(duì)概率非常大的幾種模式進(jìn)行早期判決，或者對(duì)運(yùn)算量非常大但選中概率非常小的inter8×8和intra4×4縮小選擇范圍，從整體編碼的性能上來講，應(yīng)該能節(jié)省大量的編碼時(shí)間，提高編碼速度。

3 SKIP模式快速判決算法
3．1 SKIP模式的特征
    在對(duì)當(dāng)前宏塊采用SKIP模式進(jìn)行編碼時(shí)，它具有以下4個(gè)特征：
    (1)它不在5幀備選參考幀中進(jìn)行選擇。只以第0個(gè)參考幀作為參考幀；
    (2)它并不進(jìn)行運(yùn)動(dòng)搜索，因此它的運(yùn)動(dòng)矢量經(jīng)過相鄰宏塊的運(yùn)動(dòng)矢量的預(yù)測得到預(yù)測值MVp后，并沒有運(yùn)動(dòng)矢量的殘差MVD；
    (3)在對(duì)它進(jìn)行運(yùn)動(dòng)矢量的預(yù)測的時(shí)候，是以16×16(即一個(gè)宏塊)大小為單位；
    (4)它經(jīng)過幀間預(yù)測后，并不編碼殘差，那么也就沒有整數(shù)DCT變換，或者可以看成它的DCT值為0。
    在采用SKIP模式編碼后，性能是否最佳，通常情況下要用率失真代價(jià)值跟其他模式進(jìn)行比較才能決定。但是，如果在采用其他正常方式進(jìn)行編碼后，反過來，發(fā)現(xiàn)整個(gè)宏塊的編碼數(shù)據(jù)具有上述的某些或全部特征后，或許可以作為提前判斷當(dāng)前編碼宏塊模式為SKIP模式的依據(jù)，即將上述4個(gè)必要條件的某幾個(gè)作為判斷當(dāng)前宏塊最佳模式為SKIP模式的充分條件。當(dāng)然，這樣處理的結(jié)果并不準(zhǔn)確，但是如果準(zhǔn)確率較高，應(yīng)該對(duì)編碼效果的影響并不大。
3．2 SKIP模式快速判決方法分析
    文獻(xiàn)[1]提出了一種以DCT系數(shù)是否為全0作為判斷條件來進(jìn)行判斷。這種方法比較簡單，從理論上講應(yīng)該有一定的準(zhǔn)確性，因?yàn)槌薙KIP模式，其他模式的DCT系數(shù)為全零可能性并不大。文獻(xiàn)[2]則提出提出了一種比較苛刻的方法，它利用SKIP模式的所有特征，然后作為判決條件，即當(dāng)一個(gè)宏塊滿足第3．1節(jié)的4個(gè)條件時(shí)，便判斷為SKIP模式。表2是對(duì)兩種方法進(jìn)行實(shí)驗(yàn)后判斷準(zhǔn)確性的統(tǒng)計(jì)值。

    由表2可知，這兩種方法準(zhǔn)確性比較高，尤其是方法2，因?yàn)樗臈l件非常苛刻，這也符合文獻(xiàn)[2]中的敘述。但是這兩種方法判斷正確性高，文獻(xiàn)中卻忽略了一個(gè)重要參數(shù)，即漏判決率。該兩方法對(duì)于已經(jīng)判決出的模式，正確性非常高，但是由于條件比較苛刻，它卻未判斷出很多本該是SKIP模式的宏塊，那么這些宏塊依然需要使用最原始的方法進(jìn)行判斷，快速判決也就失去了其意義。
3．3 該文的SKIP模式快速判決方法
    基于前一節(jié)的考慮，在此對(duì)文獻(xiàn)[2]提出的方法，將整數(shù)DCT系數(shù)為全0這一條件舍去，實(shí)驗(yàn)結(jié)果顯示如表3中方法3所示。由表3可知，漏判率有所下降，但是依然很高。

    最終，摒棄了采用SKIP模式的某幾種特征的組合作為判決條件，依然采用率失真代價(jià)來判斷。但是實(shí)驗(yàn)中利用SKIP模式的率失真代價(jià)跟inter16×16模式的率失真代價(jià)值比較作為判決條件，即當(dāng)滿足RDcost (SKIP)≤RDcost(inter16×16)時(shí)，認(rèn)為當(dāng)前宏塊的最佳模式為SKIP模式。這出于這樣的假設(shè)，即在分塊大小都為16×16的情況下，如果沒有采用多參考幀選擇、運(yùn)動(dòng)估計(jì)以及對(duì)殘差進(jìn)行編碼這樣非常簡陋的模式的率失真代價(jià)值依然比采用了相關(guān)技術(shù)的inter16×16模式的率失真代價(jià)值還小，則說明這一宏塊的細(xì)節(jié)非常少，該宏塊為SKIP模式的概率應(yīng)該非常大。當(dāng)然不排除一種情況就是當(dāng)前宏塊采用SKIP模式和inter16×16模式本身失真都非常嚴(yán)重，遠(yuǎn)遠(yuǎn)高于其他采用更細(xì)的分塊模式。此時(shí)率失真值主要由碼率決定，那么由于SKIP模式的碼率要低得多，從而SKIP的率失真值比inter16×16要小，導(dǎo)致誤判。表3是經(jīng)實(shí)驗(yàn)得到的準(zhǔn)確度表。由該表看出，該方法(方法4)判斷準(zhǔn)確性也很高，但卻沒有一個(gè)漏判，這是因?yàn)榇朔椒ū旧碛玫氖锹适д娲鷥r(jià)值與inter16×16的比較，符合所有模式中率失真代價(jià)值最低必然符合比inter16×16模式的代價(jià)低這一條件。因此這里采用此方法作為SKIP模式的快速判決方法。

4 基于紋理預(yù)測的inter8×8子模式快速選擇
    文獻(xiàn)[3]提出一種假設(shè)：宏塊的代價(jià)值隨分塊方向單調(diào)增減。也就是說宏塊或者子塊如果最佳的分塊方向是縱向(inter8×16或者inter4×8)或者橫向(inter16×8或者inter8×4)，那么與相應(yīng)方向相符的分塊方式代價(jià)值必然要小于與該最佳方向相反的分塊方式的代價(jià)值，即大的分塊方式的宏塊代價(jià)值的比較大體反應(yīng)了宏塊的紋理方向。利用這一點(diǎn)，對(duì)inter8×8模式的選擇范圍進(jìn)行限定，以縮小子模式選擇范圍。圖1描述了對(duì)inter8×8子模式可選范圍的確定。其中Jmode=REF_COST(mode)+MV_COST(mode)。

5 Intra模式快速選擇的簡化算法
    采用幀內(nèi)預(yù)測時(shí)，宏塊可以分成intra16×16和in-tra4×4兩種模式。其中intra4×4用到了9種預(yù)測模式，它的預(yù)測算法并不復(fù)雜，但是對(duì)于率失真代價(jià)的計(jì)算量卻非?？捎^。因此，對(duì)于幀內(nèi)模式，人們已經(jīng)提出了很多種快速算法。單純針對(duì)幀內(nèi)模式，這些快速算法確實(shí)對(duì)編碼速度的提高程度非常大。但是從整個(gè)視頻序列來看，效果并不明顯。因?yàn)閷?duì)于P幀，從統(tǒng)計(jì)結(jié)果來看，in-tra模式所占的比重非常小，而運(yùn)算量極大的intra4×4模式所占比重更是微乎其微。表4是各序列在P幀及I幀中intra模式所占的百分比統(tǒng)計(jì)。

    對(duì)于I幀，由于采用的全部是intra模式，且由上表可以看出，intra4×4模式所占的比重卻非常高，本可以考慮采用某種快速選擇算法。但是由于I幀在整個(gè)序列中所占比重不大，通常每30幀1幀I幀。因此，改進(jìn)I幀的模式選擇，對(duì)于整個(gè)序列來說，同樣是微乎其微。因此針對(duì)intra模式，本文提出了一種簡化算法，即忽略P幀中的intra4×4模式，但為保證視頻質(zhì)量，保留intra16×16模式；對(duì)I幀的模式選擇，采用最原始的算法。表5是采用該方法后PSNR和編碼時(shí)間與JM 8．6原始算法的性能比較。由表5可看出，編碼時(shí)間有了比較大的下降，PSNR下降并不明顯，且算法也并不復(fù)雜。

6 綜合實(shí)驗(yàn)結(jié)果
    最后，結(jié)合上述三方面的方法進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果與JM 8．6參考軟件的性能比較如表6和表7。其中，I幀周期是30，起始QP值為28，啟用了碼率控制，編碼幀數(shù)為100。

    結(jié)果顯示，除了運(yùn)動(dòng)較為劇烈的mobile序列以外，PSNR并沒有明顯的下降，但是編碼時(shí)間下降平均達(dá)到37％左右。

7 結(jié) 語
    在研究了JM 8．6參考軟件的基礎(chǔ)上，提出了基于統(tǒng)計(jì)與紋理預(yù)測的綜合快速模式選擇算法。實(shí)驗(yàn)數(shù)據(jù)顯示，該算法對(duì)于整個(gè)圖像序列編碼時(shí)間平均降低了37％左右，而同時(shí)圖像的峰值信躁比降低了0．02～0．08 dB，圖像的質(zhì)量并沒有明顯的下降。由于該算法對(duì)于固定背景比較多、運(yùn)動(dòng)對(duì)象比較少的序列具有更好的優(yōu)化效果，因此更加適用于視頻會(huì)議(電話)、遠(yuǎn)程視頻監(jiān)控等場合。