基于TM1300的可視電話終端研究
關(guān)鍵詞:TM1300 H.324 G.723.1 H.263
引言
1996年ITU-T制訂了在PSTN上傳輸多媒體信息的H.324系列標(biāo)準(zhǔn)建議,主要包括視頻編解碼(Video Codec)H.263標(biāo)準(zhǔn)、信息流分組復(fù)用(Multiplex)H.223標(biāo)準(zhǔn)、通信控制規(guī)程(Control)H.245標(biāo)準(zhǔn)、低碼率語音編碼(Speech Codec)G.723.1標(biāo)準(zhǔn)以及調(diào)制解調(diào)器(Modem) V.34bis標(biāo)準(zhǔn)等。其中G.723.1協(xié)議可將64Kb/s的PCM語音信號(hào)壓縮至6.3Kb/s甚至5.3Kb/s,H.263協(xié)議可將視頻信息壓縮到20Kb/s左右;因此,壓縮后的語音和圖像信號(hào)的碼速率低于28.8Kb/s,而V34調(diào)制解調(diào)器已實(shí)現(xiàn)了PSTN上的33.6Kb/s碼速率的傳輸。這樣,就可以在普通模擬電話網(wǎng)絡(luò)(PSTN)上利用V.34調(diào)制解調(diào)器實(shí)現(xiàn)實(shí)時(shí)傳輸多媒體信息。
H.324終端可以有兩種實(shí)現(xiàn)形式:基于PC機(jī)支持的可視電話終端和無需PC機(jī)支持的“獨(dú)立式”可視電話終端。前者需要PC機(jī)、攝像頭、視頻捕獲卡、內(nèi)置或外置Modem;后者需要將顯示器、攝像頭、普通電話集成一體,形成一獨(dú)立的小型可視電話終端。本文介紹的可視電話終端屬于后者。它是以Philips公司的TM1300多媒體DSP為核心來實(shí)現(xiàn)的,主要包括話音和圖像的采集、編解碼、顯示、回放,碼流復(fù)用及通信控制等功能模塊。
1 TM1300處理器簡(jiǎn)介
TM1300是Philips公司于1997年以來推出的系列多媒體DSP Trimedia的最新一款性能優(yōu)良的多媒體處理芯片。它以多媒體處理和通信功能為主,融合了CPU芯片原有的計(jì)算功能,已廣泛應(yīng)用于多媒體專用設(shè)備、家電及寬帶通信設(shè)備。TM1300結(jié)構(gòu)框圖如圖1所示。
TM1300特別針對(duì)數(shù)字視頻和音頻應(yīng)用進(jìn)行了結(jié)構(gòu)優(yōu)化,集成視頻輸入、輸出接口,音頻輸入、輸出接口以及通信線路接口等圍設(shè)備。其核心32位的處理器,能夠進(jìn)行32位的線性尋址,尋址能力可達(dá)到4GB;同時(shí),它含有128個(gè)通用寄存器,這些寄存器不像其它DSP的寄存器那樣分段,所有的操作都可以使用這些寄存器,其核心處理器采用的是VLIW(Very Long Instruction Word)超長(zhǎng)指令字結(jié)構(gòu),可以在每一個(gè)時(shí)鐘周期內(nèi)同時(shí)進(jìn)行5個(gè)操作。VLIW結(jié)構(gòu)還可以減少處理器的工作量,核心CPU的運(yùn)行由實(shí)時(shí)操作系統(tǒng)內(nèi)核進(jìn)行控制。相互獨(dú)立的多媒體輸入、輸出單元可以接收和輸出格式化數(shù)據(jù)。TM1300提供4個(gè)通用的定時(shí)器,其中三個(gè)可被編程用來產(chǎn)生CPU時(shí)鐘周期、數(shù)據(jù)/指令斷點(diǎn)、Cache跟蹤、音頻/視頻時(shí)鐘等等。其SPDIF輸出單元可輸出高速的串行數(shù)據(jù)流,主要應(yīng)用于向外部音頻設(shè)備輸出SPDIF格式的數(shù)字音頻數(shù)據(jù)。由于數(shù)據(jù)流內(nèi)容完全由軟件控制,因此,SPDIF輸出單元也可用作通用的高速輸出設(shè)備,如UART。TM1300內(nèi)部有專用的16KB的數(shù)據(jù)高速緩存和32KB的指令高速緩存,并且數(shù)據(jù)高速緩存是雙端口的,允許同時(shí)進(jìn)行雙向訪問。此外,TM1300還帶有一些專用的協(xié)處理器和專用的多媒體指令,其內(nèi)部和功能單元之間通過一個(gè)高性能的總線和存儲(chǔ)系統(tǒng)進(jìn)行通信,開發(fā)者可以充分利用TM1300硬件體系結(jié)構(gòu)的特性,提高視頻、音頻編解碼算法的運(yùn)算速度。變長(zhǎng)解碼協(xié)處理器(VLD COPROCESSOR)可以完成H.261、H.263、MPEG-1、MPEG-2和MPEG-4碼流的哈夫曼解碼;圖像協(xié)處理器ICP(Image Coprocessor)可以在不需CPU參與的情況下對(duì)圖像進(jìn)行縮放和濾波處理。
多媒體應(yīng)用要求系統(tǒng)資源和活動(dòng)得到高效的管理,TM1300處理器支持pSOC實(shí)時(shí)多任務(wù)操作系統(tǒng)內(nèi)核,pSOS操作系統(tǒng)由美國(guó)ISI(Integrated System Inc)公司開發(fā)。它基于開放式操作系統(tǒng)標(biāo)準(zhǔn),并且針對(duì)多媒體應(yīng)用作了專門的優(yōu)化。pSOS真正實(shí)現(xiàn)了搶先式、基于優(yōu)先級(jí)的任務(wù)調(diào)度及合理的中斷處理。內(nèi)核保證在任務(wù)時(shí)刻,正在運(yùn)行的任務(wù)在所有準(zhǔn)備好的任務(wù)中具有最高的優(yōu)先級(jí),更高優(yōu)先級(jí)的外部事件可以搶先改變調(diào)度的行為,通過改變搶先特性,或調(diào)度任務(wù)時(shí)間片,用戶可以改變調(diào)度的行為。PSOS還具有以下特點(diǎn):動(dòng)態(tài)的、基于對(duì)象的多任務(wù)及動(dòng)態(tài)的存儲(chǔ)分析;靈活的計(jì)時(shí)管理和時(shí)鐘服務(wù);先進(jìn)的錯(cuò)誤處理和故障恢復(fù)等。pSOS操作系統(tǒng)在內(nèi)核層將與硬件有關(guān)的操作放在一個(gè)模塊中,對(duì)系統(tǒng)服務(wù)層以上則屏蔽了具體的硬件特性。
2 可視電話終端構(gòu)成與工作原理
2.1 系統(tǒng)框圖和工作原理
圖2是基于TM1300的“獨(dú)立式”可視電話終端的基本框圖。圖2右邊的的EEPROM、Flash存儲(chǔ)器和SDRAM可分別看作PC中的BIOS、HARDDISK(硬盤)和RAM(內(nèi)存),V.34/ISDN為通信端口。在給終端加電后,TM1300首先從EEPROM中讀取系統(tǒng)啟動(dòng)的一些重要信息,例如CPU工作的時(shí)鐘頻率,外圍SDRAM的大小等信息。然后CPU從EEPROM中把啟動(dòng)程序讀入SDRAM,再由啟動(dòng)程序把FLASH MEMORY中的主程序讀入SDRAM并開始執(zhí)行。圖2左邊的視頻輸入/輸出(VI/VO)單元和音頻輸入/輸出(AI/AO)單元功能描述如下:
(1)視頻輸入/輸出單元(Video in/Video out)
視頻輸入單元接收符合CCIR601/CCIR656標(biāo)準(zhǔn)的YUV 4:2:2格式的數(shù)據(jù)。數(shù)據(jù)在輸入后先被拆分成獨(dú)立的Y、U、V數(shù)據(jù),然后送入SDRAM中。另外,可根據(jù)需要對(duì)輸入的視頻數(shù)據(jù)進(jìn)行水平方向的亞采樣。視頻輸出單元輸出符合CCIR601/CCIR656格式的視頻數(shù)據(jù),它還可對(duì)輸出的數(shù)據(jù)進(jìn)行內(nèi)插,以使亞采樣后的數(shù)據(jù)恢復(fù)為640點(diǎn)/行或720點(diǎn)/行。
(2)音頻輸入/輸出單元(Audio in/Audio out)
音頻輸入/輸出單元分別與串行的ADC(模數(shù)轉(zhuǎn)換)、DAC(數(shù)模轉(zhuǎn)換)芯片相連,采樣時(shí)鐘受TM1300控制,采樣頻率可從直流到100kHz。輸入輸出的數(shù)據(jù)可是8位或16位的串行單聲道立體聲數(shù)據(jù)。
本終端工作過程簡(jiǎn)述如下:首先,本地A機(jī)攝像頭輸入數(shù)據(jù),經(jīng)視頻解碼器解碼轉(zhuǎn)換為符號(hào)CCIR601/CCIR656標(biāo)準(zhǔn)的YUV4:2:2格式的數(shù)據(jù),同時(shí)麥克風(fēng)輸入的數(shù)據(jù)經(jīng)音頻編解碼器解碼完成A/D轉(zhuǎn)換。解碼后的音頻、視頻數(shù)據(jù)隨即傳送給TM1300的音頻、視頻輸入端品,TM1300將輸入的數(shù)據(jù)分別按G.723.1和H.263協(xié)議編碼,然后以H.223標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)音頻、視頻數(shù)據(jù)流復(fù)用,再按H.245規(guī)程將復(fù)用后的數(shù)據(jù)流經(jīng)V.34或ISDN通信端口發(fā)送至傳輸網(wǎng),傳送到遠(yuǎn)端B機(jī)。B機(jī)收到A機(jī)傳送過來的數(shù)據(jù)后,先以H.223標(biāo)準(zhǔn)對(duì)音頻、視頻數(shù)據(jù)流解復(fù)用,然后分別完成基于G.723.1和H.263協(xié)議的音頻、視頻解碼,再由音頻、視頻輸出端口發(fā)送給音頻、視頻編碼器,經(jīng)編碼轉(zhuǎn)換后由喇叭、電視機(jī)輸出。B機(jī)傳送給A機(jī)的數(shù)據(jù)處理過程如此相同,這樣通信的雙方就實(shí)現(xiàn)了可視電話通信。
2.2 外圍芯片的選擇
在本終端中,TM1300的主要外圍芯片的選取情況如下:
①視頻解碼器。本方案選用了Philips公司的SAA7113,實(shí)現(xiàn)視頻A/D變換,反混迭濾波,線性相位鎖定,行、場(chǎng)同步信號(hào)檢測(cè),數(shù)字亮度分離等功能;能夠?qū)TSC、PAL或CVBS等模擬視頻信號(hào)解碼為符合CCIR601/CCIR656標(biāo)準(zhǔn)的YUV4:2:2格式的數(shù)字視頻信號(hào)。
②視頻編碼器。選用Philips公司的SAA7121,將輸入的數(shù)字YUV視頻數(shù)據(jù)編碼為NTSC、PAL或CVBS等模擬視頻信號(hào)輸出。
③音頻編解碼器。選用Philips公司的UDA1344,該芯片將A/D和D/A轉(zhuǎn)換功能集于一身,可以對(duì)麥克風(fēng)輸入的模擬聲音信號(hào)進(jìn)行A/D轉(zhuǎn)換成為數(shù)字信號(hào),形成串行數(shù)字音頻流送到TM1300的音頻輸入口。同時(shí),它也可將從VO輸入的數(shù)字信號(hào)進(jìn)行D/A轉(zhuǎn)換成模擬立體聲信號(hào),然后輸出至喇叭;
④SDRAM。選用三星公司的K4S641632E_TI/P75,其存儲(chǔ)結(jié)構(gòu)為1M×16Bit×4Banks,工作速度可達(dá)到133MHZ,選用高速、大容量的SDRAM可為今后的系統(tǒng)升級(jí)提供方便;
⑤Flash。用于存儲(chǔ)主程度,它是一種高密度、高穩(wěn)定性、低成本、可快速擦寫的非易失性存儲(chǔ)器。它與ROM、EPROM相比,提供了更高的性能,更大的靈活性;與SRAM、EEPROM相比,它有更高的密度和更合理的價(jià)格。這里選擇是AMD公司的AM29LV400BT芯片,它內(nèi)部有32個(gè)128位可擦除塊,存儲(chǔ)容量為32M位,數(shù)據(jù)線可選擇為8位或16位。
結(jié)語
由于實(shí)時(shí)多媒體數(shù)據(jù)處理算法比較復(fù)雜,運(yùn)算量大,因此它對(duì)DSP的處理能力有很高的要求。TM1300運(yùn)算能力可達(dá)6.5BOPS(每秒十億次操作),具有良好的內(nèi)部接口,靈活的外部接口和強(qiáng)大的多媒體處理能力,因而它完全可以滿足多媒體數(shù)據(jù)處理實(shí)時(shí)性的要求。在選定了DSP之后,我們選擇了它的外圍芯片并進(jìn)行了電路設(shè)計(jì)。但是由于實(shí)時(shí)多媒體數(shù)據(jù)處理算法比較復(fù)雜,運(yùn)算量大,因此為獲得更好的圖像和語音質(zhì)量,僅僅依賴硬件的高效是不夠的,還需不斷改進(jìn)視頻、音頻數(shù)據(jù)處理的算法,同時(shí)對(duì)TM1300的程序代碼進(jìn)行優(yōu)化。