基于單環(huán)和膚色選擇的FGS視頻編碼

Internet的快速發(fā)展使得網(wǎng)絡(luò)多媒體的需求急劇增加，這就對(duì)視頻的編碼技術(shù)提出了新的要求。網(wǎng)絡(luò)的異構(gòu)性和缺乏QoS(服務(wù)質(zhì)量)保證，使得帶寬會(huì)在一個(gè)較大的范圍內(nèi)波動(dòng)。傳統(tǒng)的用于解決該問題的視頻編碼方法有聯(lián)播和碼流轉(zhuǎn)換，但這兩種方法的碼率變化均被限制在幾個(gè)特定的碼率中，很難實(shí)現(xiàn)傳輸過程中任意碼流的動(dòng)態(tài)切換，從而不能充分利用信道的容量。解決這些問題的一個(gè)有效方法就是粒度可分級(jí)視頻編碼，它將原始視頻編碼成基本層碼流和增強(qiáng)層碼流，其中基本層碼流是必須要傳輸?shù)模軌騿为?dú)進(jìn)行解碼。增強(qiáng)層碼流可以根據(jù)網(wǎng)絡(luò)當(dāng)時(shí)的帶寬情況在任何一個(gè)地點(diǎn)截?cái)唷５獸GS獲得的這些特性都是以犧牲編碼效率為代價(jià)的[1]。在增強(qiáng)層中引入膚色選擇的算法，雖然能夠快速地定位出視頻中的感興趣區(qū)域，通過對(duì)其進(jìn)行位平面提升和優(yōu)先編碼來改善視頻的主觀質(zhì)量，但也會(huì)在一定程度上降低整體的編碼效率。因此，針對(duì)編碼效率低的問題，本文提出了在基本層中引入單環(huán)算法，以提高FGS的編碼效率。
1 基于膚色選擇的FGS視頻編碼
1.1 膚色選擇算法介紹[2]
    用膚色選擇算法對(duì)FGS進(jìn)行選擇增強(qiáng)，充分利用了人的視覺特性。相對(duì)于其他較復(fù)雜的人臉檢測(cè)算法，該算法具有復(fù)雜度低和運(yùn)算簡單等特點(diǎn)。對(duì)于人臉和頭肩占主要部分的序列，可以認(rèn)為人臉區(qū)域主要就是膚色區(qū)域。因此在這類視頻序列中，用膚色區(qū)域代替人臉區(qū)域作為感興趣區(qū)域，并對(duì)其進(jìn)行位平面提升、優(yōu)先編碼和傳輸，從而提高感興趣區(qū)域的編碼效率，并改善視頻的主觀質(zhì)量。
    大量實(shí)驗(yàn)表明，不同人種的膚色主要受到亮度信息的影響，而受色度信息的影響很小，且膚色在CbCr空間的分布具有很強(qiáng)的聚類特性，因此本文中直接采用通用閾值(133≤Cr≤173，77≤Cb≤127)來對(duì)膚色區(qū)域進(jìn)行判斷。對(duì)于序列中的所有幀圖像的每一個(gè)像素有：
    
    將M=1的像素定為膚色點(diǎn),然后對(duì)每幀圖像中的每個(gè)宏塊內(nèi)M值為1的像素點(diǎn)進(jìn)行統(tǒng)計(jì),將統(tǒng)計(jì)結(jié)果與預(yù)先給定的閾值T進(jìn)行比較，來判斷該宏塊是否進(jìn)行選擇性增強(qiáng)。如果大于或等于閾值T，則對(duì)該宏塊進(jìn)行選擇性增強(qiáng)，反之，則不進(jìn)行選擇性增強(qiáng)。圖1為Akiyo序列、Foreman序列和Carphone序列的原始圖、膚色分割圖和選擇性增強(qiáng)的宏塊圖。

1.2 基于膚色選擇的FGS視頻編碼
    通過上述的膚色選擇算法來定位出人臉區(qū)域，并將其作為感興趣區(qū)域，引入到FGS編碼器中。與其他人臉檢測(cè)算法相比，該方法具有復(fù)雜度低、自適應(yīng)選擇和運(yùn)算簡單等優(yōu)點(diǎn)。
2 基于單環(huán)與膚色選擇的FGS視頻編碼
    采用膚色選擇算法提高視頻序列感興趣區(qū)域的編碼效率和改善視頻主觀質(zhì)量的同時(shí)，也降低了FGS的整體編碼效率。單環(huán)算法由于使用了更高的擴(kuò)展基本層（基本層+增強(qiáng)層）圖像來用作基本層的參考圖像，因此能夠較好地提高整體編碼效率。所以本文提出了基于單環(huán)的FGS視頻編碼與基于膚色選擇的FGS視頻編碼相結(jié)合的方法（基于單環(huán)和膚色選擇的FGS視頻編碼）來同時(shí)提高FGS的整體編碼效率和視頻的主觀質(zhì)量。其編碼原理圖如圖2所示。

[!--empirenews.page--]

    對(duì)于基本層，通過使用質(zhì)量更高的擴(kuò)展基本層圖像作為基本層的參考圖像，來提高基本層運(yùn)動(dòng)補(bǔ)償?shù)男?，降低基本層殘差圖像的能量，從而提高基本層的編碼效率。對(duì)于增強(qiáng)層，基本層殘差圖像能量下降，使得殘差圖像量化前后的差值的能量也減小了，所以增強(qiáng)層的編碼效率也相應(yīng)地得到了提高。但由于基本層與增強(qiáng)層并非各自獨(dú)立，而是相互影響的，因此當(dāng)網(wǎng)絡(luò)帶寬突然降低時(shí)，會(huì)產(chǎn)生預(yù)測(cè)誤差，且這種誤差會(huì)一直積累并傳播下去，直到當(dāng)前GOP結(jié)束。因此當(dāng)使用該結(jié)構(gòu)進(jìn)行FGS編碼時(shí)，將引入前端網(wǎng)絡(luò)估計(jì)的方法，來確定能夠正確解碼的增強(qiáng)層位平面數(shù)，使用于參考的增強(qiáng)層位平面數(shù)不多于正確解碼的位平面數(shù)，從而抑制預(yù)測(cè)誤差[3-4]。
3 試驗(yàn)結(jié)果與分析
    為了檢測(cè)該算法的效果，進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)中選擇了Carphone和Foreman 兩個(gè)QCIF視頻序列，基本層采用H.264參考軟件，幀率為30 Hz，編碼50幀，編碼幀類型為IPPP…，熵編碼方法為CABAC，允許率失真優(yōu)化宏塊模式判決，QP=35，基本層碼率為60 kb/s。增強(qiáng)層編碼時(shí)僅對(duì)DCT系數(shù)進(jìn)行限幅處理，不作進(jìn)一步量化。使用重建圖像序列的亮度分量的平均峰值信噪比(Y-PSNR)作為視頻質(zhì)量的客觀評(píng)價(jià)標(biāo)準(zhǔn)。試驗(yàn)中所定義的感興趣區(qū)域?yàn)橛媚w色選擇算法檢測(cè)出來的人臉區(qū)域，將采用該提升算法的FGS和僅采用單環(huán)算法的FGS以及未采用任何提升算法的FGS進(jìn)行比較，比較結(jié)果如圖3和圖4所示。

    從圖3中可知，采用了基于單環(huán)和膚色選擇的FGS視頻編碼，在人臉區(qū)域的PSNR值要明顯高于整體區(qū)域，平均高出了3 dB，且隨著碼率的增大，PSNR的差值也逐漸增大。從圖4中可以看出，相比于H.264 FGS和基于單環(huán)的H.264 FGS，本文采用的方法能夠較好地改善視頻的主觀質(zhì)量。這說明在碼率一定的情況下，使用單環(huán)算法能夠較大地提高編碼效率，且由于使用了膚色選擇，感興趣區(qū)域的位平面被提升，從而使得該部分的信息能夠被優(yōu)先編碼和傳輸。當(dāng)碼流截?cái)鄷r(shí)，獲得的大部分?jǐn)?shù)據(jù)都是感興趣區(qū)域的，所以解碼時(shí)膚色區(qū)域的主觀質(zhì)量有了一定的改善。
    通過上述試驗(yàn)結(jié)果可知，將膚色選擇引入到FGS中，能夠快速地定位出人臉區(qū)域，通過將該區(qū)域的位平面進(jìn)行提升、優(yōu)先編碼和傳輸，能夠較大地提高感興趣區(qū)域的編碼效率,改善視頻的主觀質(zhì)量。但與此同時(shí)，會(huì)在一定程度上降低整體的編碼效率，因此引入了單環(huán)算法。該算法由于使用了高的擴(kuò)展基本層圖像來用作基本層的參考圖像，因此能夠較好地提高整體編碼效率。試驗(yàn)證明本文提出的方法對(duì)人臉和頭肩占主要部分的序列，能夠自適應(yīng)地提高FGS的編碼效率，改善解碼后視頻的主觀質(zhì)量。該算法對(duì)特定的領(lǐng)域有一定的適用性。
參考文獻(xiàn)
[1] 胡波. 數(shù)字電視系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢：華中科技大學(xué), 2009.
[2] 周孝, 林其偉, 楊雪婷. 基于人臉特征的自適應(yīng)選擇增強(qiáng)FGS視頻編碼[J]. 電視技術(shù), 2008，32(08):23-25.
[3] 江濤，張兆揚(yáng).時(shí)空域可分級(jí)的精細(xì)粒度可伸縮視頻編碼研究[D]. 上海：上海大學(xué)，2005.
[4] 楊雪婷, 林其偉.基于H.264的精細(xì)可分級(jí)編碼結(jié)構(gòu)改進(jìn)方案[J]. 電視技術(shù), 2009,33(S1).