嵌入式MPEG-4解碼系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
介紹了一種嵌入式高圖像質(zhì)量的MPEC-4視頻流解碼系統(tǒng)。該系統(tǒng)以嵌入式Linux作為操作系統(tǒng),采用硬解碼方式,把IDE接口設(shè)備或網(wǎng)絡(luò)端口輸入的MPEC-4視頻碼流(ES、PS和TS)轉(zhuǎn)換成PAL/NTSC制式的電視信號(hào)輸出。重點(diǎn)討論了系統(tǒng)控制和MPEG-4解碼部分的設(shè)計(jì)。
隨著通信和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,多媒體及其視頻流應(yīng)用越來(lái)越廣泛,同時(shí)用戶也對(duì)視頻傳輸速率和圖像質(zhì)量有更高的要求,MPEG-4標(biāo)準(zhǔn)適時(shí)地解決了多媒體壓縮存儲(chǔ)和傳輸?shù)膯?wèn)題。但是目前多數(shù)播放器都是在PC機(jī)上運(yùn)行,應(yīng)用范圍受到很大限制。研究和開發(fā)一種嵌入式的MPEG-4解碼系統(tǒng)終端具有重要的現(xiàn)實(shí)意義和實(shí)用價(jià)值。
MPEG-4標(biāo)準(zhǔn)是由國(guó)際運(yùn)動(dòng)圖像專家組于2000年10月公布的一種面向多媒體應(yīng)用的視頻壓縮標(biāo)準(zhǔn)。它采用了基于對(duì)象的壓縮編碼技術(shù),在編碼前首先對(duì)視頻序列進(jìn)行分析,從原始圖像中分割出各個(gè)視頻對(duì)象,然后再分別對(duì)每個(gè)視頻對(duì)象的形狀信息、運(yùn)動(dòng)信息、紋理信息單獨(dú)編碼,并通過(guò)比MPEG-2更優(yōu)的運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償來(lái)去除連續(xù)幀之間的時(shí)間冗余。其核心是基于內(nèi)容的尺度可變性(Content-based scalability),可以對(duì)圖像中各個(gè)對(duì)象分配優(yōu)先級(jí),對(duì)比較重要的對(duì)象用高的空間和時(shí)間分辯率表示,對(duì)不甚重要的對(duì)象(如監(jiān)控系統(tǒng)的背景)以較低的分辯率表示,甚至不顯示。因此它具有自適應(yīng)調(diào)配資源能力,可以實(shí)現(xiàn)高質(zhì)量低速率的圖像通信和視頻傳輸。
MPEG-4以其高質(zhì)量、低傳輸速率等優(yōu)點(diǎn)已經(jīng)被廣泛應(yīng)用到網(wǎng)絡(luò)多媒體、視頻會(huì)議和多媒體監(jiān)控等圖像傳輸系統(tǒng)中。目前國(guó)內(nèi)外大部分成熟的 MPEG-4應(yīng)用均為基于PC層面的客戶端和服務(wù)器模式,應(yīng)用在嵌入式系統(tǒng)上的并不多,且多數(shù)嵌入式MPEG-4解碼系統(tǒng)大多使用商業(yè)的嵌入式操作系統(tǒng),如Windows CE、VxWorks等,成本高、靈活性差。如以嵌入式Linux作為操作系統(tǒng)不僅開發(fā)方便,且可以節(jié)約成本,并可以根據(jù)實(shí)際情況進(jìn)行裁減,占用資源少、靈活性強(qiáng),網(wǎng)絡(luò)性能好,適用范圍更廣。
下面詳細(xì)地介紹此嵌入式MPEG-4解碼系統(tǒng)的設(shè)計(jì)原理、硬件和軟件組成。
1 系統(tǒng)設(shè)計(jì)原理
系統(tǒng)設(shè)計(jì)包括硬件和軟件。硬件主要分控制系統(tǒng)、MPEG-4解碼系統(tǒng)、輸入數(shù)據(jù)源三部分。數(shù)據(jù)源可以是IDE接口設(shè)備(如硬盤)或網(wǎng)絡(luò)端口??刂葡到y(tǒng)對(duì)系統(tǒng)各部分進(jìn)行監(jiān)測(cè)和控制、完成數(shù)據(jù)流的傳輸?shù)取H鐖D1所示,它主要由主控芯片、Flash和SRAM組成。主控芯片通過(guò)PCI總線控制系統(tǒng)其他模塊,是控制系統(tǒng)的核心;Flash里固化嵌入式Linux操作系統(tǒng),存放應(yīng)用軟件和備份數(shù)據(jù);SDRAM作為內(nèi)存供系統(tǒng)運(yùn)行使用。MPEG-4硬件解碼系統(tǒng)采用硬解碼方式,負(fù)責(zé)將輸入的MPEG-4數(shù)據(jù)流解碼成普通的電視信號(hào),其核心是解碼芯片。為解決數(shù)據(jù)流不穩(wěn)定的問(wèn)題,解碼芯片通常使用SDRAM進(jìn)行數(shù)據(jù)緩沖才可以保證正常解碼過(guò)程,解碼芯片的輸出數(shù)字音頻、視頻數(shù)據(jù)還要經(jīng)數(shù)模轉(zhuǎn)換器(DAC)轉(zhuǎn)換成模擬電視圖像信號(hào)和聲音信號(hào)。解碼芯片通過(guò)I2C總線發(fā)送指令配置音、視頻數(shù)模轉(zhuǎn)換器。整個(gè)系統(tǒng)框圖如圖1所示。
軟件主要包括嵌入式Linux移植、解碼驅(qū)動(dòng)和應(yīng)用程序編寫。嵌入式Linux移植到由主控芯片F(xiàn)lash控制器控制的Flash里,操作系統(tǒng)程序文件分成五個(gè)主要部分:bootloader、kernel、ramdisk、usr和boot_param,分別放在Flash內(nèi)的五個(gè)模塊中。根據(jù)不同模塊的具體功能采用不同的文件方式:bootloader、kernel、ramdisk和boot param,開發(fā)好后不需要?jiǎng)討B(tài)改變,且容量小,使用節(jié)省空間的ROMFS只讀文件系統(tǒng),usr模塊內(nèi)容較多并需要進(jìn)行讀寫操作,要使用支持動(dòng)態(tài)擦寫保存的JFFS文件系統(tǒng)。
2 系統(tǒng)硬件設(shè)計(jì)
系統(tǒng)的硬件設(shè)計(jì)主要分三部分:數(shù)據(jù)源接口設(shè)計(jì)、控制系統(tǒng)設(shè)計(jì)和解碼系統(tǒng)設(shè)計(jì)。數(shù)據(jù)流先要從數(shù)據(jù)源經(jīng)數(shù)據(jù)源接口送至PCI總線,此系統(tǒng)數(shù)據(jù)源接口為PCI總線上的PCI/IDE橋芯片和網(wǎng)絡(luò)控制芯片。這部分采用通用的電路,本文不做詳細(xì)介紹。
2.1 控制系統(tǒng)設(shè)計(jì)
控制系統(tǒng)調(diào)配系統(tǒng)資源、控制系統(tǒng)各個(gè)部分以及數(shù)據(jù)流的傳輸。主控芯片采用東芝公司的TMPR4925XB-200。它是一款64位MIPS,內(nèi)部集成了NAND Flash控制器(FlashC)、32位PCI總線控制器(PCIC)、4通道DMA控制器、4通道SDRAM控制器(SDRAMC)、外部總線控制器 (EBUSC)、外部總線接口(E-BUSI)以及2個(gè)通用串口等,并通過(guò)內(nèi)部總線對(duì)它們分別進(jìn)行控制。其工作主頻200MHz,處理速度快,功能強(qiáng),性價(jià)比高,能很好滿足嵌入式Linux系統(tǒng)的需求。
MIPS通過(guò)內(nèi)部的FlashC和SDRAMC實(shí)現(xiàn)對(duì)外圍Flash和SDRAM的控制,其中SDRAM的數(shù)據(jù)地址線要與外部總線控制接口 (EBUSI)連接,F(xiàn)lash的數(shù)據(jù)地址線連接到對(duì)應(yīng)的FlashC的數(shù)據(jù)地址端口。MIPS通過(guò)PCI總線控制器(PCIC)控制其他PCI接口設(shè)備,其控制原理圖如圖2所示。
2.2 MPEG-4解碼系統(tǒng)設(shè)計(jì)
解碼系統(tǒng)實(shí)現(xiàn)MPEG-4硬解碼,將PCI總線傳來(lái)的視頻碼流轉(zhuǎn)換成電視信號(hào)輸出。此部分關(guān)鍵是解碼芯片選擇及相關(guān)電路的設(shè)計(jì)。解碼芯片采用 Vweb公司的VW2010 A/V/S編解碼芯片,它可以實(shí)現(xiàn)MPEG-1、MPEG-2、MPEG-4和H.263的視頻編解碼,可以編恒速碼流或變速碼流,碼流速率為 22.5kbps~15Mbps,編解碼能同時(shí)進(jìn)行,可實(shí)現(xiàn)Codec、轉(zhuǎn)碼功能,還可以進(jìn)行MP3、AAC、AC-3和G7xx等多種格式的音頻編解碼。
VW2010有PCI、GPIO、I2S和CDI等多種數(shù)據(jù)接口,解碼輸入端口有兩個(gè):Host/PCI port和CDI(CompressData Input)port CDI port還分串行和八位并行兩種輸入方式。解碼原理圖如圖3所示。
MPEG-4視頻數(shù)據(jù)流送至VW2010后,由它內(nèi)部的PCI接口(Host/PCI Interface)傳送到芯片內(nèi)部的解復(fù)用模塊(Demux);解復(fù)用輸出單節(jié)目視頻流再經(jīng)過(guò)內(nèi)部解碼總線和解碼存儲(chǔ)接口單元(DMIU)存儲(chǔ)在解碼緩沖區(qū)SDRAM中(SDRAM經(jīng)DMIU連接到內(nèi)部解碼總線上);再由片內(nèi)精簡(jiǎn)指令集計(jì)算單元(RISC)、數(shù)字信號(hào)處理器(DSP)和VLD、IQ/IDCT、MCU、dCPU等專用微處理單元通過(guò)內(nèi)部總線解碼;解碼后視頻、音頻數(shù)據(jù)分別由視頻輸出單元(VOU)、音頻輸出單元(AOU)輸出,視頻單元輸出8位數(shù)字Y、C-R、C-B三者比為4∶2∶2的ITU- R.BT.656格式的數(shù)據(jù)。音頻輸出單元通過(guò)I2S總線輸出數(shù)字音頻信號(hào),兩者經(jīng)過(guò)各自的數(shù)模轉(zhuǎn)換器(DAC)輸出模擬的電視信號(hào)。[!--empirenews.page--]
音頻數(shù)模轉(zhuǎn)換芯片選用Philips公司的UDAl342TS音頻編解碼芯片,將I2S總線輸出的解碼后的數(shù)字音頻信號(hào)轉(zhuǎn)換成左右聲道音頻模擬信號(hào)輸出。視頻數(shù)模轉(zhuǎn)換芯片選用Philips公司的SAA7129AH數(shù)字視頻編碼器,解碼前要通過(guò)VW2010的I2C控制函數(shù)配置其寄存器。 SAA7129AH將VW2010解碼輸出單元輸出的8位數(shù)字Y、C-B、C-R視頻數(shù)據(jù)變成PAL(NTSC)制式的混合電視廣播信號(hào)(CVBS)、適用S端子的Y、C信號(hào)或者R、G.、B三原色信號(hào)輸出以適應(yīng)不同場(chǎng)合需要。
3 系統(tǒng)軟件設(shè)計(jì)
本系統(tǒng)軟件設(shè)計(jì)主要分為嵌入式Linux操作系統(tǒng)內(nèi)核移植、VW2010、PCI橋芯片及網(wǎng)口等系統(tǒng)驅(qū)動(dòng)程序編寫和解碼應(yīng)用程序的編寫,其體系結(jié)構(gòu)及與硬件的關(guān)系如圖4所示。
嵌入式Linux操作系統(tǒng)是用戶控制系統(tǒng)的硬件平臺(tái),系統(tǒng)驅(qū)動(dòng)程序采用模塊化形式,向上為用戶層的解碼應(yīng)用程序提供API函數(shù),向下通過(guò)系統(tǒng)硬件API函數(shù)控制系統(tǒng)硬件。VW2010驅(qū)動(dòng)模塊采用實(shí)時(shí)加載方式,其他如網(wǎng)口、I2C和PCI/IDE接口等驅(qū)動(dòng)通用性強(qiáng),直接編譯入內(nèi)核。解碼應(yīng)用程序則實(shí)現(xiàn)系統(tǒng)MPEG-4數(shù)據(jù)流的傳輸和解碼。
Linux下的驅(qū)動(dòng)開發(fā)技術(shù)已經(jīng)發(fā)展成熟,嵌入式Linux內(nèi)核的定制和移植也很普遍,本文不作詳細(xì)的闡述,主要介紹解碼應(yīng)用程序。
以IDE硬盤文件解碼為例,解碼程序主要由兩部分組成:主程序和解碼線程程序。解碼線程程序主要控制MPEG-4數(shù)據(jù)流的傳輸,先從數(shù)據(jù)源 (IDE接口硬盤)獲取MPEG-4數(shù)據(jù)流文件,再以塊的方式將數(shù)據(jù)傳送至W2010進(jìn)行數(shù)據(jù)流的解碼,然后在檢測(cè)外部中斷信號(hào)同時(shí)不斷地把文件中的數(shù)據(jù)以塊的方式寫入VW2010,直到文件終止或者外部信號(hào)中斷解碼過(guò)程。解碼過(guò)程相對(duì)獨(dú)立。為便于其后臺(tái)用使用線程的方式實(shí)現(xiàn),線程的級(jí)別要設(shè)為最高 [5]。主程序主要進(jìn)行系統(tǒng)初始化工作,內(nèi)容包括讀取解碼參數(shù),配置SAA7129的寄存器,啟動(dòng)并檢查MIPS,開啟VW2010并加載配置文件等。
如果數(shù)據(jù)源是從以太網(wǎng)端口輸入,修改相應(yīng)的配置選項(xiàng),把對(duì)硬盤文件的操作換成對(duì)IP數(shù)據(jù)包的操作,把數(shù)據(jù)包解成MPEG-4數(shù)據(jù)流文件,再寫入VW2010。
VW2010提供了十分齊全的API函數(shù)供使用,包括I2C配置、輸入輸出控制、解復(fù)用和解碼控制等,在VW2010的驅(qū)動(dòng)模塊加載后可以在C++語(yǔ)言里直接調(diào)用,極大方便了軟件程序的編寫。主程序流程圖如圖5所示。
本文介紹了一種嵌入式MPEG-4視頻流解碼系統(tǒng),該系統(tǒng)采用硬解碼方式實(shí)現(xiàn)IDE接口設(shè)備或網(wǎng)絡(luò)端口輸入的MPEG-4碼流(ES、PS和 TS)轉(zhuǎn)換成PAL/NTSC制式的電視信號(hào)輸出。系統(tǒng)采用64位MIPS芯片TM-PR4925XB-200作為主控制器,以VW2010作為 MPEG-4解碼芯片;采用嵌入式Linux作為操作系統(tǒng)和模塊化的VW2010驅(qū)動(dòng)程序,解碼應(yīng)用程序簡(jiǎn)單實(shí)用,可擴(kuò)展性強(qiáng)。實(shí)驗(yàn)證明此系統(tǒng)可穩(wěn)定地對(duì)比特率1Mbps~16Mbps的MPEG-4碼流進(jìn)行解碼,在碼流比特率為2Mbps時(shí),圖像的質(zhì)量仍與普通DVD效果相似??蓮V泛用于IP電視、衛(wèi)星電視、基于MPEG-4標(biāo)準(zhǔn)的數(shù)字電視廣播系統(tǒng)中,應(yīng)用前景十分廣闊。