ADSP系列處理器在網(wǎng)絡(luò)多媒體中的應(yīng)用

    摘要：介紹ADI Blackfin系列ADSP處理器，雙MAC處理器架構(gòu)使其同時具有DSP的性能和MCU的功能，能夠運行嵌入式操作系統(tǒng)；同時介紹在各種網(wǎng)絡(luò)多媒體應(yīng)用領(lǐng)域，如IP機頂盒，網(wǎng)絡(luò)視頻監(jiān)控，可視VoIP電話等方面的設(shè)計，說明如何利用ADSP處理器BF533和BF561的架構(gòu)優(yōu)勢，同時運行操作系統(tǒng)和進行數(shù)字信號處理，支持多種多媒體格式，靈活高效地實現(xiàn)軟硬件設(shè)計。

    關(guān)鍵詞：雙MAC處理器架構(gòu)，嵌入式Linux，多種多媒體格式, ADSP-BF561 雙DSP架構(gòu)，一核運行操作系統(tǒng)，一核進行數(shù)字信號處理

    Blackfin是ADI公司推出的一類新型的嵌入式處理器，專為滿足目前音頻、視頻、通信應(yīng)用等方面的計算需求和降低功耗而設(shè)計。而ADSP-BF533和ADSP-BF561是Blackfin系列中具有代表性的DSP處理器。本文將就BF533/BF561在網(wǎng)絡(luò)多媒體中的應(yīng)用作一定的介紹。

一．    Blackfin系列DSP的典型應(yīng)用：

    汽車圖像系統(tǒng)
    寬帶無線系統(tǒng) 
    多媒體消費電子產(chǎn)品 
    數(shù)字視頻錄像機
    多聲道VoIP 
    安防和監(jiān)控 
    機頂盒 
    視頻會議 

二．Blackfin系列DSP的應(yīng)用趨勢

    DSP在多媒體應(yīng)用中的需求正在轉(zhuǎn)變。目前，逐漸顯露出對以下產(chǎn)品的市場需求：無線、多媒體產(chǎn)品應(yīng)用、無線局域網(wǎng)、家庭網(wǎng)關(guān)和其他消費類產(chǎn)品；以及對于汽車和工業(yè)應(yīng)用中要求高速信號處理的產(chǎn)品的需求也在不斷增長。多媒體的應(yīng)用，正逐漸走向網(wǎng)絡(luò)化、多樣化。目前的DSP需要滿足快速增長的支持多種多媒體格式的產(chǎn)品的市場需求：

    視頻: WMV ver.9, H.264, MPEG-4, MPEG-2, MJPEG
    音頻: WMA Pro ver.9, MP3, MP3 PRO, AAC, Dolby Digital, DTS
    語音: G.711, G.728, G.729AB, G.723.1A, AMR
    無線通信: WLAN 802.11b, GSM/GPRS, EDGE & 3G

    傳統(tǒng)的可編程體系結(jié)構(gòu)已經(jīng)無法滿足目前有特殊要求的信號處理的需求。固化的ASIC芯片也無法滿足目前多制式的產(chǎn)品應(yīng)用所面臨的成本、適應(yīng)性以及快速推向市場的要求。而采用RISC/DSP相結(jié)合的架構(gòu)現(xiàn)在已經(jīng)擁有足夠的處理能力，能夠滿足更廣的音視頻產(chǎn)品市場的需求。

三．    Blackfin系列DSP主要特性

    Blackfin系列dsp內(nèi)核最高可達756MHz/1,512MMACs，可以支持多聲道音頻和VGA/D1視頻的多媒體應(yīng)用處理。加強了動態(tài)電源管理，采用0.8V的內(nèi)核供電，以充分延長在手持設(shè)備應(yīng)用中電池的使用時間。其中ADSP-BF533具有600MHz時鐘頻率和1.2GMACS（每秒十億次乘法累加運算）運算速度；低價位的ADSP-BF531則具有300MHz/600MMACS（每秒百萬次乘法運算）的性能。這兩款Blackfin處理器兼具業(yè)界一流的數(shù)字信號處理（DSP）性能和微處理器(MCU)功能性并且支持嵌入式操作系統(tǒng)以滿足當(dāng)今嵌入式音頻、視頻和通信應(yīng)用對高速運算和低功耗的要求。ADSP-BF533在達到600MHz性能水平時的功耗僅為280mW。為了充分發(fā)揮Blackfin體系結(jié)構(gòu)的動態(tài)電源管理能力，該處理器集成了一個片內(nèi)開關(guān)穩(wěn)壓器，它利用2.25 V ~ 3.6 V外接電源電壓可產(chǎn)生0.7 V～1.2 V可設(shè)置的內(nèi)核工作電壓，從而降低了總體成本，并節(jié)省了外部電源元器件。

    這些新型Blackfin處理器還支持嵌入式操作系統(tǒng)，例如嵌入式Linux、ThreadX 和Nucleus操作系統(tǒng)。另外，Blackfin處理器內(nèi)的視頻優(yōu)化功能能夠?qū)崿F(xiàn)完全可編程的D1/VGA實時視頻和多通道音頻處理而沒有專門硬件或異構(gòu)雙內(nèi)核解決方案的復(fù)雜性或不靈活性。使用這種可編程的Blackfin處理器，能使用戶開發(fā)的產(chǎn)品快速投放市場，并且很容易支持新興的多媒體格式，例如，MPEG-4，H.264和Windows Media。

四．    Blackfin系列DSP的內(nèi)部結(jié)構(gòu)

    BF533有較高的集成度，集成了較為豐富的外圍接口，如圖4-1所示：

圖4-1 BF533外圍模塊圖

•強勁的外圍接口可支持ITU-R 656視頻數(shù)據(jù)格式
•2個雙通道全雙工同步串行端口可支持8個立體I2S通道
•12 DMA通道支持一和二維的數(shù)據(jù)傳輸
•存儲控制器可緊密連接多種外部存儲器，如FLASH、SDRAM、SRAM和ROM
•3個可以支持PWM核脈沖寬度/時間計算模式的計時器
•可支持IrDA的UART
•SPI兼容端口
•實時鐘
•看門狗計時器
•調(diào)試/JTAG接口
•支持1x到63x頻率倍數(shù)的PLL


Blackfin處理器DSP內(nèi)核結(jié)構(gòu)，如圖4-2所示：

    Blackfin DSP內(nèi)核包括2個40位的算術(shù)邏輯單元（ALU）、2個乘法器/累加器（MAC）、4個視頻ALU以及1個移位器。各個計算單元執(zhí)行不同類型的操作：ALU執(zhí)行算術(shù)和邏輯操作；乘法器執(zhí)行乘法、乘法/加和乘法/減操作；移位器執(zhí)行邏輯移位、算術(shù)移位、位的壓縮和解壓縮操作；視頻ALU執(zhí)行單指令處理多數(shù)據(jù)（SIMD）的邏輯運算，這種操作是基于8位數(shù)據(jù)的。

    計算單元通過數(shù)據(jù)寄存器組來輸入/輸出數(shù)據(jù)。數(shù)據(jù)寄存器組包含8個32位寄存器。每個32位的寄存器可以看成是2個獨立的16位寄存器。例如寄存器R0可以看成由2個16位的寄存器R0.H和R0.L組成。另外寄存器組中還有2個40位的累加器Acc0和Acc1，他們是ALU操作的專用寄存器，主要用于乘法和加法操作。 

    程序控制器控制指令執(zhí)行的流向，它包括指令的對齊和解碼。程序控制器支持條件轉(zhuǎn)移、條件子程序調(diào)用和零開銷循環(huán)。循環(huán)緩沖器存儲將要執(zhí)行的指令。

    在目前的嵌入式多媒體應(yīng)用中有一些采用了多處理技術(shù)的解決方案，一般的結(jié)構(gòu)如圖4-1所示，雙內(nèi)核引擎通過雙口RAM無縫連接，形成了一個硬件/軟件綜合的平臺，可以運行操作系統(tǒng)和使用標(biāo)準(zhǔn)API的應(yīng)用：

    同樣的多處理技術(shù)，也可以用在Blackfin系列DSP上。在這樣的架構(gòu)中DSP主要負責(zé)媒體處理、信號處理；而RISC則主要完成控制、包處理等等。

    但實際上Blackfin系列的處理器并不僅僅是一個單純的DSP，它是一高性能的雙MAC處理器，額外擁有其他類似微處理器所常見的一些特性，可以與普通RISC的MCU相媲美。如圖4-2所示為OMAP架構(gòu)的處理器和Blackfin系列處理器的對比：

    OMAP系列的處理器內(nèi)部為ARM和DSP的雙核結(jié)構(gòu)，ARM內(nèi)核負責(zé)運行嵌入式操作系統(tǒng)、應(yīng)用軟件等；C5X負責(zé)視頻、圖像處理。而Blackfin系列的處理器，可以同時運行嵌入式操作系統(tǒng)、上層應(yīng)用和進行一般的信號處理。

    而Blackfin系列DSP處理器中BF561更是采用了對稱多處理的架構(gòu)，在一顆BF561芯片內(nèi)部集成了2個BF533 DSP內(nèi)核，如圖4-3所示：

    BF561主頻高達600M，并且支持并行處理，保證了其強大的數(shù)字信號處理能力，并且支持低電壓低電流供電。能夠滿足多功能的數(shù)字消費類產(chǎn)品對于性能、功耗方面的要求。

    BF561靈活的多處理架構(gòu)能夠支持多種工作模式，如圖4-6所示：

    第一種模式（DSP + RISC），BF561內(nèi)部的2個核可以分為，一個可以用來進行信號處理；而另外一個則可以用來運行操作系統(tǒng)，進行以太網(wǎng)傳輸，以及其他控制相關(guān)的任務(wù)。

    第二種模式（PURE DSP），在信號處理過程中，可以將1個任務(wù)交給2個不同的核去處理，奇數(shù)幀由Core A完成，偶數(shù)幀由Core B完成；或者2個不同的任務(wù)也可以由Core A和Core B分別完成。處理器的性能得到了成倍的提高。

    基于Blackfin系列DSP的應(yīng)用實例

    （1）IP機頂盒

    基于Blackfin+MCU/uClinux架構(gòu)的嵌入式IP機頂盒的解決方案：

    其中，32位RISC MCU負責(zé)運行嵌入式linux，進行無線局域網(wǎng)/以太網(wǎng)傳輸、硬盤存儲、音頻編解碼、文件管理以及控制等方面的處理。MCU從網(wǎng)絡(luò)接收到的媒體流，可以作為存儲到硬盤或者通過SPI接口（速率可達12Mbps）傳給BF533，BF533專門負責(zé)H.264@D1格式的視頻編解碼。功能模塊如圖5-2所示：

    （2）可視VoIP電話

    隨著多媒體技術(shù)和通信技術(shù)的快速發(fā)展，目前單一的語音通信方式已經(jīng)不能夠完全滿足人們的通訊要求，人們迫切需要改善通訊方式?？梢旾P電話可以利用網(wǎng)絡(luò)雙向?qū)崟r傳輸通話雙方的圖像和語音，達到面對面交流的效果。隨著目前寬帶接入的普及，為可視電話的推廣和發(fā)展提供了一個很好的基礎(chǔ)。

    下面給出了一個基于BF533和ARM9(400MHz) MCU的可視VoIP電話解決方案： 

硬件方面：
    SAMSUNG S3C2440 (400MHz)
    ADI BF533(600MHz)
    TFT LCD(3.5” 以上)
    FLASH
    SDRAＭ
    CCD攝像頭
    視頻 A/D
    音頻A/D
    音頻D/A
    以太網(wǎng)MAC+PHY芯片

軟件方面：
    ARM9(400MHz)支持：
    操作系統(tǒng)（Linux）
    視頻解碼（H.264、MPEG4）
    音頻解碼（G.711、G.723.1、G.729、MP3）
    以太網(wǎng)通訊（TCP/IP協(xié)議棧等）
    H.323協(xié)議棧
    圖形用戶界面（GUI）

ADI BF533支持：
    視頻采集編碼（H.264、MPEG4）
    音頻采集編碼（G.711、G.723.1、G.729）
    回音消除

通過上面使用ARM9+BF533以及相關(guān)的軟件支持，我們可以實現(xiàn)以下功能：

    在局域網(wǎng)和廣域網(wǎng)內(nèi)進行音視頻的電話對講
    多媒體娛樂功能：可以播放MPEG4視頻和MP3、WMA音樂
    支持email服務(wù)
    支持SMS、MMS短信
    支持軟件盤、手寫輸入
    可外接鍵盤和鼠標(biāo)

可視電話的基本結(jié)構(gòu)和核心技術(shù)：

1．    可視電話的基本結(jié)構(gòu)包括：
    視頻輸入/輸出模塊，視頻編解碼器
    音頻輸入/輸出模塊，音頻編解碼器
    延時單元
    數(shù)據(jù)處理、存儲單元
    系統(tǒng)控制單元
    網(wǎng)絡(luò)界面單元

2．    可視電話的核心技術(shù)：
語音和視頻壓縮技術(shù)視可視電話的核心技術(shù)?？梢曤娫捵鳛橥ㄐ沤K端產(chǎn)品，必須保證足夠好的語音和視頻質(zhì)量，同時占用的帶寬要盡量小。語音和視頻壓縮技術(shù)的發(fā)展目標(biāo)就是：在保證壓縮后的語音和圖像質(zhì)量的同時，盡量提高壓縮率。 

    2.1語音編碼技術(shù)

    語音通信視可視電話最基本的功能。受網(wǎng)絡(luò)條件的限制，可視電話不可能占用太大的帶寬。為了適應(yīng)低碼率語音通信的要求，ITU-T推出了G.72X系列語音壓縮標(biāo)準(zhǔn)。其中G.723.1、G.728、G.729和G.729A，在IP電話中得到了廣泛應(yīng)用。不同的語音壓縮標(biāo)準(zhǔn)所采用的技術(shù)提供不同的碼率、時延和語音質(zhì)量。

    2.2視頻編碼技術(shù)

    原始的視頻數(shù)據(jù)需要占用非常高的帶寬,如果需要通過網(wǎng)絡(luò)傳輸必須在保證在一定的圖像質(zhì)量的前提下通過壓縮技術(shù)盡量降低視頻資料的碼率,以適應(yīng)不同的網(wǎng)絡(luò)條件.因此視頻壓縮算法的效率決定了可視電話的圖像質(zhì)量和應(yīng)用前景。

    目前在網(wǎng)絡(luò)監(jiān)控、視頻點播的應(yīng)用中，MPEG4格式的視頻壓縮算法較為流行，其碼率一般在數(shù)百Kbps到1Mbps左右。ITU-T推出的低碼率視頻壓縮標(biāo)準(zhǔn)對推動可視電話的發(fā)展和實用化起到了重要的促進作用。H.261是ITU-T推出的第一個低碼率視頻壓縮標(biāo)準(zhǔn)，碼率為p×64kbit/s，其中p=1～30，圖像格式為CIF（352*288）和QCIF（162*144）。目前H.264的算法能夠?qū)⑼瑯拥囊曨l壓縮到更低的碼率，但其計算復(fù)雜度也大大增加。相信隨著DSP芯片處理能力的進一步提高，H.264網(wǎng)絡(luò)視頻傳輸方面的應(yīng)用將越來越流行。 
     
    2.3通信協(xié)議

    為保證可視電話在網(wǎng)絡(luò)上可靠的通信,不同的終端必須運行統(tǒng)一的通信控制協(xié)議來保證相互協(xié)同工作。

    ITU-T推出的H.320/323標(biāo)準(zhǔn)，面向不同的網(wǎng)絡(luò),不同的網(wǎng)絡(luò)介面，不同的信令過程，以及為適應(yīng)不同的網(wǎng)絡(luò)而優(yōu)化設(shè)計的包結(jié)構(gòu)。復(fù)用協(xié)定規(guī)定了視頻資料、語音資料等的打包標(biāo)準(zhǔn)，而控制協(xié)定的作用是在終端之間些商通信方式，如視頻編碼標(biāo)準(zhǔn)的協(xié)商，語音編碼標(biāo)準(zhǔn)的協(xié)商，通道帶寬的協(xié)商等?；谝蕴W(wǎng)的可視電話通常采用H.323控制協(xié)定。
    
3．    基于ARM9+BF533的解決方案

    目前ARM9系列的處理器在手持終端上的應(yīng)用如PDA、Smart Phone、PMP產(chǎn)品上已經(jīng)有了非常廣泛的應(yīng)用，在可視電話上也有非常明顯的優(yōu)勢。

    3.1語音和視頻編碼

    語音和視頻編碼需要非常強的數(shù)學(xué)運算能力，通常采用ASIC芯片或通用DSP來實現(xiàn)。ADI BF533具有非常強的運算能力，完全能夠滿足視頻壓縮的要求，并且具有非常強的靈活性，通過軟件可以靈活滿足產(chǎn)品升級的要求和針對網(wǎng)絡(luò)帶寬調(diào)整壓縮率。
BF533接受從CCD Sensor采集的視頻碼流，從Microphone采集的語音碼流分別進行壓縮，壓縮后通過SPI接口傳送給ARM9芯片。 

    3.2語音和視頻解碼

    ARM9在400MHz的主頻下完全能夠直接進行音視頻的解碼播放，而無需再傳送給DSP做解碼播放，大大降低了DSP的負擔(dān)和系統(tǒng)的復(fù)雜程度。 
     
    3.3網(wǎng)絡(luò)傳輸、通信協(xié)議

    ARM9通過嵌入式Linux能夠很好的支持TCP/IP協(xié)議，可以通過local bus擴展以太網(wǎng)。

    基于Linux也可以實現(xiàn)H.323協(xié)議，并且占用很少的CPU處理能力。 
         
    3.4用戶界面

    ARM9內(nèi)置LCD控制器，可以支持較高分辨率的TFT LCD，用來顯示本地和解壓后的圖像。并且基于Linux，華恒科技已經(jīng)在ARM9的平臺上普遍的實現(xiàn)了Microwindows、Minigui等嵌入式GUI的支持，可以實現(xiàn)較為完備的圖形用戶控制界面。

    另外，ARM9內(nèi)置了1到2個USB接口，可以接U盤進行數(shù)據(jù)交換，或者擴展USB鍵盤以及通過USB接口與主機相連，配置可視電話的工作模式。并且可以支持RTC、Watchdog，以及通過GPIO擴展按鍵等。

    從上面應(yīng)用中不難看出，ADSP系列處理器在嵌入式網(wǎng)絡(luò)多媒體中的應(yīng)用有著顯著的優(yōu)點： 性價比高，體積小，功耗低，外圍接口電路設(shè)計簡單。 

聯(lián)系Email:  market@hhcn.com