MPEG－4視頻編碼技術(shù)及在多媒體通信中的應(yīng)用

一、引　言
　　MPEG－4是運(yùn)動(dòng)圖像專家組（Moving Picture Ex－pert Group）標(biāo)準(zhǔn)家庭中的一員，是國(guó)際標(biāo)準(zhǔn)化組織為多媒體通信制定的一種解決方案。當(dāng)今迅速發(fā)展的交互式計(jì)算機(jī)游戲圖像顯示、交互式視頻點(diǎn)播（VOD）都表明電視正由“純線性”向“非線性”的方向發(fā)展。MPEG－1／2均是以音頻幀、視頻幀為編碼對(duì)象的，圖像中的AV（Audio、Video）對(duì)象所組成的場(chǎng)景不能與人們進(jìn)行交互。而MPEG－4的主要特點(diǎn)是對(duì)圖像中的內(nèi)容進(jìn)行編碼，其具體的編碼對(duì)象就是圖像中的音頻和視頻信號(hào)，稱為AV對(duì)象。MPEG－4就是圍繞著AV對(duì)象的編碼、存儲(chǔ)、傳輸和組合而制定的。所以，MPEG－4有非線性電視的編碼、存儲(chǔ)、傳輸和組合的標(biāo)準(zhǔn)之稱。

二、MPEG－4的圖像與視頻標(biāo)準(zhǔn)的技術(shù)結(jié)構(gòu)
1．MPEG－4的圖像與視頻標(biāo)準(zhǔn)的技術(shù)結(jié)構(gòu)
　　如圖1所示，底層是VLBV（Very LowBit RateVideo）核心，它為5～64 kbit／s視頻操作和應(yīng)用提供算法與工具，支持較低的空間分辨率（低于352x288像素）和較低的幀頻（低于15 Hz）。VLBV核心支持的專用功能包括實(shí)時(shí)多媒體應(yīng)用：支持矩形圖像序列的有效編碼，具有高編碼效率、高精度、高容錯(cuò)度、低延時(shí)等特點(diǎn)；以及多媒體數(shù)據(jù)庫(kù)應(yīng)用：支持多媒體數(shù)據(jù)庫(kù)的存儲(chǔ)、隨機(jī)存取以及FF／FR（快進(jìn)／快退）等功能與操作。

2．各模塊功能及實(shí)現(xiàn)
    （1）多媒體信息處理模塊
　　它主要基于MPEG－4標(biāo)準(zhǔn)，根據(jù)不同的應(yīng)用要求對(duì)視頻和音頻數(shù)字信號(hào)進(jìn)行不同程度的壓縮／解壓縮。

    1）視頻／音頻信號(hào)的壓縮
　　采用TI公司最新推出的TMS3206415DSP芯片，它支持圖像的8 bit數(shù)據(jù)處理的指令。它的運(yùn)算速度快，最高運(yùn)行速度高達(dá)600 MHz，指令周期最短為1．67 ns，峰值處理速度達(dá)到了3 200～4800 MIPS。在音頻／視頻應(yīng)用中，其性能提高15倍。具有先進(jìn)的超長(zhǎng)指令字結(jié)構(gòu)（VLIW），獲得當(dāng)前應(yīng)用設(shè)備所需要的極高性能。內(nèi)核的8個(gè)功能單元能夠在每個(gè)周期內(nèi)執(zhí)行4組16位MAC運(yùn)算或8組8位MAC運(yùn)算，以便在處理通信和影像算法中獲得最大的并行性。如果用C6415同時(shí)完成一個(gè)通道的MPEG－2視頻編碼、一個(gè)通道的MPEG－4視頻編碼和一個(gè)通道的視頻解碼，其硬件資源還只占用了50％，可見(jiàn)其強(qiáng)大的計(jì)算能力。該芯片具有1 056字節(jié)片上SRAM的實(shí)時(shí)分層存儲(chǔ)系統(tǒng)，用于加快超高速DSP內(nèi)核。64通道的增強(qiáng)型存儲(chǔ)器直接存取（EDMA）控制器，顯示出出色的并行性特點(diǎn)。外部雙總線提供了超過(guò)1．2 G字節(jié)的外部存儲(chǔ)器帶寬。同時(shí)還提供33MHz／32 bit的PCI接口及3個(gè)多通道緩沖串行口。這些都為視頻、音頻信號(hào)的實(shí)時(shí)處理提供了便利的條件。

    2）視頻壓縮模塊
　　采用MPGE－4標(biāo)準(zhǔn)，實(shí)現(xiàn)基于內(nèi)容的編碼和編碼可分級(jí)性，其核心編碼器的結(jié)構(gòu)如圖3所示：基本層采用的是MPEG－4基本模式編碼，并輸出基本視頻流，增強(qiáng)層的輸入信號(hào)是原始VOP和幀存（重建）的VOP的差值，并對(duì)其差值進(jìn)行8×8的DCT，然后對(duì)DCT系數(shù)進(jìn)行比特平面編碼。根據(jù)比特平面的重要性，將重要的比特放在碼流前端，如一個(gè)塊的MSB，將次要比特放在后端，比如一個(gè)塊的LSB，這樣在網(wǎng)絡(luò)發(fā)生擁塞時(shí)就可以先丟棄部分不重要的比特以減緩網(wǎng)絡(luò)負(fù)載，但解碼端對(duì)接收碼流仍可解碼，只是圖像質(zhì)量會(huì)有所下降。解碼器是編碼器的逆過(guò)程。

    3）采用MPEG－4標(biāo)準(zhǔn)的視頻壓縮的特點(diǎn)
    ①傳統(tǒng)編碼與基于內(nèi)容編碼的統(tǒng)一
　　MPEG－4視頻算法的核心是支持基于內(nèi)容（Content－based）的編碼和解碼功能，也就是對(duì)場(chǎng)景中使用分割算法抽取的單獨(dú)的物理對(duì)象進(jìn)行編碼和解碼。為了實(shí)現(xiàn)預(yù)想的內(nèi)容及交互等功能，MPEG－4引進(jìn)了一個(gè)叫做“視頻對(duì)象面”（Video Object Plane，簡(jiǎn)寫為VOP）的概念，如圖4所示。圖4（a）表示支持MPEG－1和MPEG－2的普通MPEG－4編碼器，它把視頻圖像都認(rèn)為是一個(gè)矩形區(qū)，圖4（b）表示MPEG－4的甚低碼率圖像（VLVB）的核心編碼器。它是假設(shè)每幀圖像被分割成許多任意形狀的對(duì)象，每個(gè)對(duì)象都有可能覆蓋描述場(chǎng)景中感興趣的物理對(duì)　　象或者內(nèi)容，這被定義為VOP。然后單獨(dú)對(duì)VOP的形狀、運(yùn)動(dòng)和紋理信息進(jìn)行編碼和傳送構(gòu)成一個(gè)單獨(dú)的視頻對(duì)象層（Video Object Layer，簡(jiǎn)寫為VOL）。此外，還需要標(biāo)識(shí)每個(gè)VOL的信息也包含在編碼后的比特流（Bitstream）中，也包括各種VOL的視頻圖像在接收端應(yīng)該如何進(jìn)行重新組合的信息，以便重構(gòu)完整的原始圖像序列。這樣就可以對(duì)每個(gè)VOP進(jìn)行單獨(dú)解碼，提供了管理視頻序列的靈活性。

　　如果輸入圖像序列只包含標(biāo)準(zhǔn)的矩形圖像，就不需要形狀編碼，在這種情況下，MPEG－4 Video使用的編碼算法結(jié)構(gòu)也就與MPEG－1和MPEG－2使用的算法結(jié)構(gòu)相同。

    ②實(shí)現(xiàn)編碼的連續(xù)可分級(jí)性
　　MPEG－4第4版針對(duì)Internet視頻流式傳輸?shù)膽?yīng)用，定義了視頻圖像編碼的精細(xì)可分級(jí)性（FGS，即Fine Granularity Scalability）及其實(shí)現(xiàn)工具。由于FGS編碼提出了一個(gè)由網(wǎng)絡(luò)接收端來(lái)控制其所接收的碼流的概念，使其在Internet上的傳輸更具適應(yīng)性。

　　在視頻的分級(jí)編碼技術(shù)中，視頻信息被分成多個(gè)不同重要性的層，其中基本層包含了視頻對(duì)象中最重要的基本信息，以此可以保證一個(gè)最基本的圖像質(zhì)量，在傳輸過(guò)程中被賦予較高的優(yōu)先級(jí)。增強(qiáng)層的作用是在基本層的基礎(chǔ)上進(jìn)一步提高圖像質(zhì)量，在傳輸中賦予較低的優(yōu)先級(jí)。這樣在網(wǎng)絡(luò)發(fā)生擁塞而丟包時(shí)，就可以先丟棄優(yōu)先級(jí)較低的增強(qiáng)層，使得基本層發(fā)生丟包或誤碼的概率比增強(qiáng)層低，從而保證重建圖像仍然有一個(gè)讓人可以接受的質(zhì)量。

    4）語(yǔ)音壓縮
　　采用CELP（Code Excited Linear Predication）碼激勵(lì)線性預(yù)測(cè)技術(shù)。傳統(tǒng)的CELP編碼器提供單一的碼率的壓縮，而本系統(tǒng)允許多種應(yīng)用使用一個(gè)基本的編碼器，在碼率和帶寬上提供了可擴(kuò)展性。根據(jù)不同應(yīng)用需要可選擇8 kHz和16 kHz 2種采樣頻率，8 kHz采樣頻率對(duì)應(yīng)100～3 800 Hz帶寬的通信質(zhì)量，16 kHz采樣頻率對(duì)應(yīng)50～7 000 Hz帶寬的通信質(zhì)量。

    （2）外部設(shè)備接口模塊
　　本系統(tǒng)采用的PHILIP公司的視頻編碼芯片SAA7111，對(duì)模擬攝像機(jī)的輸入模擬視頻信號(hào)進(jìn)行亮色分離，再對(duì)分離后的信號(hào)分別進(jìn)行8比特采樣，然后按CCR601R的標(biāo)準(zhǔn)編碼成8比特寬度的Y（亮度信號(hào)）和UV（色度信號(hào)）數(shù)字圖像信號(hào)，Y：U：V為4：2：2。芯片提供場(chǎng)同步信號(hào)VREF、行同步信號(hào)HREF、奇偶場(chǎng)信號(hào)RES1、像素時(shí)鐘信號(hào)LLC2輸出，省去了時(shí)鐘同步電路的設(shè)計(jì)，可靠性得到提高。

　　視頻解碼采用BT864芯片完成數(shù)字視頻信號(hào)到RGB模擬電視信號(hào)的轉(zhuǎn)換。

　　模擬音頻經(jīng)芯片TLC320AD50C進(jìn)行PCM編碼／解碼，其采樣速率為8～22．4 kHz，并可通過(guò)編程設(shè)置，采用串行通信。

    （3）控制模塊
　　采用Microchip公司生產(chǎn)的PIC系列的單片機(jī)，采用內(nèi)部帶Flash程序存儲(chǔ)器的機(jī)型。

　　它的功能是完成各個(gè)功能模塊的初始化，以及對(duì)各個(gè)功能模塊的控制，實(shí)現(xiàn)用戶接口，實(shí)現(xiàn)H．245控制協(xié)議的功能，實(shí)現(xiàn)多媒體數(shù)據(jù)流、控制信息數(shù)據(jù)流等的復(fù)接／解復(fù)接；根據(jù)網(wǎng)絡(luò)通信狀態(tài)，及時(shí)地控制編碼過(guò)程以實(shí)現(xiàn)對(duì)碼率的控制，實(shí)現(xiàn)通信建立、通信過(guò)程控制，它是整個(gè)系統(tǒng)的控制核心。

    （4）通信模塊
　　采用的是Seiko公司生產(chǎn)的包含了TCP／IP網(wǎng)絡(luò)協(xié)議堆的大規(guī)模集成電路S－7600A，它的功能是將數(shù)據(jù)流封裝成IP數(shù)據(jù)包。它集成了TCP／IP協(xié)議，并提供了軟件開(kāi)發(fā)包，使應(yīng)用程序的開(kāi)發(fā)變得非常容易。其主要性能如下：支持TCP／IP（Ver．4．0）協(xié)議、PPP協(xié)議和UDP協(xié)議；支持與MPU（微處理器）并行或串行2種接口方式；配置了2個(gè)通用的Sock－et，實(shí)現(xiàn)與MPU的數(shù)據(jù)交換；支持與物理傳輸層的UART接口；同時(shí)還有10 KB的在片SRAM，其中有4KB作為TCP、IP、及PPP的數(shù)據(jù)緩沖器另6 KB分別為Socket0和Socket1兩個(gè)數(shù)據(jù)交換口的發(fā)送和接收緩沖器。S－7600A中還有各種寄存器，MPU通過(guò)對(duì)寄存器的讀寫操作去控制S－7600A，包括時(shí)鐘頻率的設(shè)定，可以根據(jù)不同的應(yīng)用，設(shè)定所需的時(shí)鐘頻率。

　　該模塊以RS－232接口（TTL電平）方式與外部網(wǎng)絡(luò)連接。

    （5）網(wǎng)絡(luò)接口模塊
　　網(wǎng)絡(luò)接口模塊可提供2種入網(wǎng)方式，一種是通過(guò)Modem經(jīng)PSTN入網(wǎng)，此種入網(wǎng)方式適用于對(duì)圖像質(zhì)量要求不高、低量運(yùn)動(dòng)的情況，比如可視電話；一種是以以太網(wǎng)接口或雙絞線的方式入網(wǎng)，這種方式可提供較寬的帶寬，可以達(dá)到比較好的圖像、語(yǔ)音質(zhì)量。

　　本系統(tǒng)現(xiàn)支持低碼率（10～512 Kbit／s）的傳輸速率，采用S－QCIF格式或QCIF格式，幀率低于30幀／秒。若采用其它通信模塊，則可支持（1～4 Mbit／s）的高碼率的傳輸，提供較高的通信質(zhì)量。本套系統(tǒng)還具有低功耗、算法的可升級(jí)性強(qiáng)、并且完全支持TCP／IP協(xié)議等優(yōu)點(diǎn)，更重要的是，它支持MPEG－4標(biāo)準(zhǔn)，更符合寬帶網(wǎng)絡(luò)日趨智能化、交互化的發(fā)展趨勢(shì)。

五、結(jié)束語(yǔ)
　　MPEG－4視頻編碼技術(shù)采用了現(xiàn)代圖像編碼方法，利用人眼視覺(jué)特性，從輪廓－紋理的思路出發(fā)，支持基于內(nèi)容和對(duì)象的編碼，支持基于內(nèi)容的交互功能，并實(shí)現(xiàn)編碼的連續(xù)可分級(jí)性，根據(jù)網(wǎng)絡(luò)的通信狀況控制視頻圖像質(zhì)量。MPEG－4視頻編碼正在完成從基于像素的傳統(tǒng)編碼向基于對(duì)象和內(nèi)容的現(xiàn)代編碼的轉(zhuǎn)變，它代表了新一代智能圖像編碼，必將對(duì)未來(lái)圖像通信機(jī)制產(chǎn)生深遠(yuǎn)的影響。

參考文獻(xiàn)