基于SOPC的MPEG-4視頻播放器

摘要 介紹Altera SOPC平臺(tái)上MPEG-4視頻播放器的實(shí)現(xiàn)。以NiosII用戶(hù)自定義指令方式實(shí)現(xiàn)IQ、IDCT、MC等計(jì)算密集型功能模塊，從而在XviD Codec基礎(chǔ)上實(shí)現(xiàn)Simple Profile視覺(jué)框架下，L1級(jí)、QCIF、25 fps的MPEG-4視頻實(shí)時(shí)解碼。
關(guān)鍵詞 MPEG-4 視頻播放器 SOPC NiosII

引言

　　多媒體技術(shù)實(shí)用化的關(guān)鍵技術(shù)之一，就是解決視頻、音頻數(shù)字化以后數(shù)據(jù)量大，與數(shù)字存儲(chǔ)媒體、通信網(wǎng)容量小的矛盾，其解決途徑就是壓縮。

　　為了支持低比特率視頻傳輸業(yè)務(wù)，MPEG(Moving Picture Experts Group)推出了MPEG-4標(biāo)準(zhǔn)。于1999年正式成為國(guó)際標(biāo)準(zhǔn)的MPEG4是一個(gè)適合于低傳輸率的視頻、音頻解決方案，更注重于多媒體系統(tǒng)的交互性和靈活性。MPEG-4視頻壓縮標(biāo)準(zhǔn)提供了一種高度靈活、基于“內(nèi)容”的編碼方法，解碼端可以“按需解碼”，還可以添加對(duì)象和信息。這種靈活性使得MPEG-4具有高效的編碼效率、基于內(nèi)容的可擴(kuò)展性以及在易受干擾環(huán)境下的魯棒性。

　　MPEG-4的這些特性使得它十分適合于存儲(chǔ)容量有限的手持終端設(shè)備。但是MPEG-4視頻解碼中涉及的反量化(Inverse Quantization, IQ)、反離散余弦變換（Inverse Discrete Cosine Transform，IDCT），運(yùn)動(dòng)補(bǔ)償（Motion Composition, MC）等技術(shù)均是典型的計(jì)算密集型變換，對(duì)于本身處理能力有限，功耗受限的手持終端設(shè)備而言，視頻解碼的實(shí)時(shí)性是一個(gè)很大的挑戰(zhàn)。

　　本系統(tǒng)在Nios II和FPGA構(gòu)成的SOPC平臺(tái)上，使用NiosII的用戶(hù)自定義指令以硬件邏輯方式實(shí)現(xiàn)MPEG4解碼中的IQ、IDCT、 MC等計(jì)算復(fù)雜、高度耗時(shí)的功能模塊，極大地提高解碼速度。從而在以GPL協(xié)議發(fā)布的XviD Codec基礎(chǔ)上，實(shí)現(xiàn)Simple Profile視覺(jué)框架下，L1級(jí)、QCIF（177×144分辨率）、25 fps的MPEG-4實(shí)時(shí)解碼，并通過(guò)DMA方式在LCD上加以顯示。

1  系統(tǒng)功能描述

　　本系統(tǒng)從功能上可以分為視頻文件存取、視頻解碼器、YUV-RGB變換器和LCD控制模塊4個(gè)部分。

1.1  視頻文件存取

　　要進(jìn)行視頻文件的播放，首先需要對(duì)視頻文件進(jìn)行方便地存儲(chǔ)和讀取。系統(tǒng)播放的MP4文件由XviD Codec在PC上對(duì)4∶2∶0的YUV文件壓縮得到。該MP4文件采用177×144分辨率的QCIF格式，25幀/s。在下載模式，可以通過(guò) JTAG接口將MP4文件寫(xiě)入Flash存儲(chǔ)器中。在播放模式下，Nios II處理器將MP4文件從Flash存儲(chǔ)器中讀出，送入文件緩沖池中等待解碼器對(duì)其進(jìn)行讀取并解碼。

1.2  視頻解碼器

　　視頻解碼器是系統(tǒng)的核心。如圖1所示，視頻解碼器由熵解碼器、反量化、反離散余弦變換、運(yùn)動(dòng)補(bǔ)償模塊和視頻幀緩存5個(gè)模塊組成。

圖1  視頻解碼器結(jié)構(gòu)框圖

　　解碼時(shí)，首先對(duì)輸入碼流進(jìn)行熵解碼，然后根據(jù)幀的頭信息判斷幀的類(lèi)型。對(duì)于每個(gè)宏塊，熵解碼后首先經(jīng)過(guò)IQ，再經(jīng)過(guò)IDCT變換得到空間域的值。對(duì)于參考幀(R-Frame)，由于不需要進(jìn)行運(yùn)動(dòng)補(bǔ)償，變換后的結(jié)果直接輸出，同時(shí)還要將它存儲(chǔ)在視頻幀緩存中，留給后面的預(yù)測(cè)幀（P-Frame）做運(yùn)動(dòng)補(bǔ)償。對(duì)于預(yù)測(cè)幀，先通過(guò)熵解碼得到運(yùn)動(dòng)向量，根據(jù)運(yùn)動(dòng)向量搜索到相應(yīng)的參考幀后，再將IDCT變換后的預(yù)測(cè)差值與之相加，合成最后的預(yù)測(cè)幀圖像。解碼后的預(yù)測(cè)幀同樣是一路輸出，一路存放于視頻幀緩存當(dāng)中。

　　視頻解碼如果采用純軟件方式實(shí)現(xiàn)，運(yùn)算量太大，難以滿(mǎn)足實(shí)時(shí)性要求。利用NiosII的自定義指令，將IQ、IDCT和MC這3個(gè)主要的計(jì)算密集型解碼單元用硬件邏輯方式實(shí)現(xiàn)，以硬件邏輯的復(fù)雜性換取解碼的實(shí)時(shí)性。

1.3  YUV-RGB變換器

　　解碼器解碼得到的YUV格式圖像不適合直接用于LCD顯示。要在LCD上顯示解碼得到的圖象必須將YUV格式的圖像轉(zhuǎn)換為RGB格式，兩者的轉(zhuǎn)換關(guān)系如下：

　　R=1.164(Y-16)+1.569(V-128)
　　G=1.164(Y-16)+0.813(V-128)+0.391(U-128)
　　B=1.164(Y-16)+2.018(U-128)

　　YUV到RGB格式的轉(zhuǎn)換是一個(gè)很占用CPU資源的過(guò)程。本系統(tǒng)以查表的方式，采用硬件邏輯實(shí)現(xiàn)該轉(zhuǎn)換。

1.4  LCD控制模塊

　　標(biāo)準(zhǔn)VGA LCD顯示模塊（640×480，@60 Hz）是一種逐行掃描設(shè)備。這種掃描是順序的，下一個(gè)掃描點(diǎn)能夠預(yù)知，從而可以將需要送出的像素信息排成一行，看作一個(gè)數(shù)據(jù)流（Streaming）。借助于NiosII的Avalon流模式外設(shè)的設(shè)計(jì)方法，可以實(shí)現(xiàn)一個(gè)Avalon流模式的LCD控制器。利用DMA控制器在流模式的LCD控制器和系統(tǒng)SDRAM之間建立一條DMA傳送通道，由硬件完成像素信息的讀取和送出。NiosII只需要操作SDRAM中的相應(yīng)區(qū)域就可完成顯示圖像的更新。

2  系統(tǒng)設(shè)計(jì)結(jié)構(gòu)

2.1  系統(tǒng)硬件結(jié)構(gòu)

　　系統(tǒng)硬件結(jié)構(gòu)如圖2所示。

圖2  系統(tǒng)硬件結(jié)構(gòu)圖

　　為了達(dá)到25 fps的實(shí)時(shí)解碼速度， IDCT、IQ、MC和YUV-GB轉(zhuǎn)換這4部分計(jì)算密集型的功能單元全部以用戶(hù)自定義指令的方式實(shí)現(xiàn)。

2.1.1  反量化

　　系數(shù)的二維數(shù)組QF[v][u]被反量化，產(chǎn)生重構(gòu)的DCT系數(shù)。該過(guò)程的實(shí)質(zhì)是以量化步長(zhǎng)為倍數(shù)的乘法運(yùn)算。

表1  intra_dc與編碼精度對(duì)應(yīng)表

　　內(nèi)部編碼塊DC系數(shù)的反量化過(guò)程不同于其他的AC系數(shù)。DC反量化系數(shù)由一個(gè)常數(shù)因子intra_dc與QF[0][0]相乘而得到。intra_dc與編碼精度有關(guān),表1顯示的即為兩者對(duì)應(yīng)關(guān)系。

　　AC系數(shù)的反量化要用到兩個(gè)加權(quán)矩陣，分別用于內(nèi)部子塊和非內(nèi)部子塊。用戶(hù)也可以使用自定義的量化矩陣。

　　如果用QDCT表示輸入已量化的AC系數(shù)，用DCT表示反量化后的AC系數(shù)，那么AC系數(shù)的IQ變換公式如下：

式中,quantiser_scale為0~112之間的兩組數(shù)值，分別對(duì)應(yīng)不同的比特流控制狀態(tài)。但是在本系統(tǒng)采用的XviD Codec版本中，比特流控制功能并沒(méi)有得到實(shí)現(xiàn)，所以這里quantiser_scale的取值固定。

　　反量化得到的結(jié)果通過(guò)飽和化，使其限制在[-2048，+2047]之間。

　　IQ在FPGA上按照?qǐng)D3的框圖進(jìn)行硬件實(shí)現(xiàn)。

圖3  反量化的硬件實(shí)現(xiàn)結(jié)構(gòu)

2.1.2  反離散余弦變換

　　IDCT是DCT的逆過(guò)程，用于還原DCT系數(shù)矩陣。

　　IDCT過(guò)程可由下面的公式描述：

上式可視為一個(gè)2個(gè)8元向量的點(diǎn)積:

　　將8元的輸入向量[X0, X1, X2, X3, X4, X5, X6, X7]分成奇元素[X1,X3, X5,X7]和偶元素[X0,X2,X4,X6],8×8矩陣則用2個(gè)4×4矩陣來(lái)代替，奇元素和偶元素分別與這2個(gè)矩陣v和u相乘，生成2個(gè)4×4向量p和q，通過(guò)加減向量p和q，可得到輸出向量x。

　　算法可以表示成下面的公式:

　　基于8×8矩陣的IDCT算法，在FPGA上按照?qǐng)D4所示的結(jié)構(gòu)加以硬件實(shí)現(xiàn)。

圖4  反離散余弦變換的硬件實(shí)現(xiàn)結(jié)構(gòu)

2.1.3  運(yùn)動(dòng)補(bǔ)償

　　運(yùn)動(dòng)補(bǔ)償是一種大量、單調(diào)的運(yùn)算。為了能實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償，采用了多級(jí)、多個(gè)運(yùn)算單元并行流水運(yùn)算的方式，如圖5所示。

圖5  運(yùn)動(dòng)補(bǔ)償?shù)挠布?shí)現(xiàn)結(jié)構(gòu)

　　運(yùn)動(dòng)補(bǔ)償模塊的控制很復(fù)雜。實(shí)際設(shè)計(jì)時(shí)將它分成幾個(gè)子模塊：補(bǔ)償控制、補(bǔ)償?shù)刂樊a(chǎn)生、差分?jǐn)?shù)據(jù)提供以及補(bǔ)償運(yùn)算。這幾個(gè)子模塊直接采用硬件邏輯設(shè)計(jì)，運(yùn)行時(shí)無(wú)需NiosII處理器干預(yù)。其中補(bǔ)償控制是完成整個(gè)運(yùn)動(dòng)補(bǔ)償?shù)目刂?，提供輸入控制信?hào)、輸出控制信號(hào)、緩存控制信號(hào)、預(yù)測(cè)數(shù)據(jù)和差分?jǐn)?shù)據(jù)等；補(bǔ)償?shù)刂樊a(chǎn)生用于生成預(yù)測(cè)數(shù)據(jù)在幀緩存中的地址及補(bǔ)償結(jié)果的寫(xiě)地址；差分?jǐn)?shù)據(jù)負(fù)責(zé)接收IDCT的結(jié)果，通過(guò)緩存在適當(dāng)時(shí)機(jī)提供補(bǔ)償使用；補(bǔ)償運(yùn)算則完成最終預(yù)測(cè)數(shù)據(jù)的計(jì)算。

2.1.4  YUV-RGB轉(zhuǎn)換

　　根據(jù)YUV到RGB色彩空間的轉(zhuǎn)換關(guān)系，對(duì)每個(gè)乘積項(xiàng)都預(yù)先做出結(jié)果，存放在ROM當(dāng)中。對(duì)每一個(gè)YUV分量的輸入，由硬件邏輯產(chǎn)生存取地址，并進(jìn)行加法運(yùn)算，從而得到對(duì)應(yīng)的結(jié)果。其實(shí)現(xiàn)結(jié)構(gòu)如圖6所示。

圖6  YUV-RGB轉(zhuǎn)換實(shí)現(xiàn)結(jié)構(gòu)

2.2  系統(tǒng)軟件工作流程

　　本系統(tǒng)的軟件工作流程如圖7所示。

圖7  軟件流程圖

結(jié)語(yǔ)

　　該系統(tǒng)采用基于Altera FPGA嵌入式軟核的SOPC平臺(tái)實(shí)現(xiàn)，具有較低的硬件成本，IP核的大量使用，良好的系統(tǒng)擴(kuò)展性的特點(diǎn)。

參考文獻(xiàn)

1  彭澄廉.挑戰(zhàn)SOC-基于Nios的SOPC設(shè)計(jì)與實(shí)踐.北京:清華大學(xué)出版社,2004
2  邵丹，韓家偉.YUV-RGB之間的轉(zhuǎn)換.長(zhǎng)春大學(xué)學(xué)報(bào)，2004，14（4）
3  ChenC H Smith W H, S C F ralick. A Fast Computational Algorithm for the Discrete Cosine Transfrom. IEEE Trans.Circuit and System,1991,25(9):1004~1009
4  Yil Suk Yang, et al. A Serial Input/Output Circuit with 8 bit and 16 bit Selection Modes. ETRI J, 2002, 24(16):462~464
5  Park S M， et al. A Single?Chip Video/Audio Codec for Low Bit Rate Application. ETRI J, 2000, 22(1):20~29
6  http://www.altera.com/