當前位置:首頁 > 通信技術(shù) > 通信技術(shù)
[導讀]引 言由于成本和視頻通信質(zhì)量的因素,可視電話從推出到現(xiàn)在,一直受到用戶的冷落。現(xiàn)在因為技術(shù)的進步和寬帶因特網(wǎng)的普及,可視電話呈現(xiàn)出新的生機。業(yè)內(nèi)專家預測,未來幾年內(nèi),可視電話不僅可與電信固話、小靈通、移

引 言

由于成本和視頻通信質(zhì)量的因素,可視電話從推出到現(xiàn)在,一直受到用戶的冷落?,F(xiàn)在因為技術(shù)的進步和寬帶因特網(wǎng)的普及,可視電話呈現(xiàn)出新的生機。業(yè)內(nèi)專家預測,未來幾年內(nèi),可視電話不僅可與電信固話、小靈通、移動/聯(lián)通手機互聯(lián),還可與3G 手機互通??梢曤娫拰⒊蔀楠毩⒌漠a(chǎn)業(yè),發(fā)展前景良好。

筆者基于TI公司的單顆600 MHz TMS320DM643(簡稱為DM643)數(shù)字媒體處理器,開發(fā)了一套性能優(yōu)異、價格低廉的嵌入式IP可視電話,實現(xiàn)點對點網(wǎng)絡音視頻實時通信。

1 基于TMS320DM643的硬件設計

DM643數(shù)字媒體處理器[1]集成了一系列外設,以適應視頻和影像技術(shù)的發(fā)展。其中包括3個可配置視頻端口,1個10/100 Mbps的以太網(wǎng)MAC(EMAC),1個面向音頻應用的串行口(McASP),1個串行口(McBSP)以及一些其他外設。C64x核內(nèi)有8個并行的處理單元,采用VLIW(甚長指令集)結(jié)構(gòu),處理能力高達4800MIPS,并在C6OOO公共指令集的基礎上擴展了88條指令。這些指令使C64x能夠更方便地執(zhí)行圖象處理中的算法。

基于單顆DM643的嵌入式IP可視電話的組成如圖1所示。從攝像機輸入的視頻信號和從麥克風輸入的音頻信號經(jīng)A/D轉(zhuǎn)換后送入DSP,DSP對音/視頻信號進行壓縮、編碼、合流;然后通過局域網(wǎng)或因特網(wǎng)將數(shù)據(jù)傳輸出去,同時將從網(wǎng)絡上接收的數(shù)據(jù)分流,并分別進行視頻信號的解碼顯示和音頻信號的解碼播放。系統(tǒng)中,還通過DM643的McBSP/UART 口外接了一個鍵盤,以實現(xiàn)電話的撥號功能。

圖1 嵌入式IP可視電話的組成

1.1 視頻采集電路

本系統(tǒng)采用的視頻解碼芯片是Philips公司的SAA7l15.從攝像機輸入的全電視信號在SAA7l15內(nèi)部經(jīng)過鉗位、抗混疊濾波、A/D轉(zhuǎn)換、YuV分離電路之后,在YuV到Y(jié)CrCb的轉(zhuǎn)換電路中轉(zhuǎn)換成BT.656視頻數(shù)據(jù)流,通過DM643的視頻口VPo輸入到壓縮核心單元DM643中。視頻數(shù)據(jù)的行/場同步信號包含在BT.656數(shù)字視頻數(shù)據(jù)流的EAV(End of Active Video)和SAV(Startof Active Video)時基信號中,視頻口只需視頻采樣時鐘和采樣使能信號。SAA7l15內(nèi)部寄存器參數(shù)的配置和狀態(tài)的讀出通過1 C總線進行。視頻采集接口的原理如圖2所示。

圖2 視頻采集接口原理

DM643將解碼后的視頻數(shù)據(jù)通過視頻口VP1通道送給SAA7121顯示輸出。SAA7121是Philips公司的一款視頻編碼芯片,可實現(xiàn)數(shù)字視頻的D/A 變換。SAA7121的工作模式由其內(nèi)部的控制寄存器決定,控制寄存器的初始化通過1 C總線完成。DM643利用自身具有的1 C總線模塊,作為主控制器,對SAA7121進行參數(shù)編程控制。

1.2音頻輸入/輸出電路

本系統(tǒng)采用TI的高性能立體聲編/解碼器TI V320AIC23(簡稱AIC23),實現(xiàn)音頻信號的采集和播放。AIC23與DM643的I/0電壓兼容,可實現(xiàn)與DM643的McASP接口無縫連接。

在本系統(tǒng)中,AIC23工作于主模式,左右聲道的采樣字寬均為16位。數(shù)據(jù)接口為DSP mode模式。通過12 C總線設置內(nèi)部寄存器的工作參數(shù)和反饋狀態(tài)信息。

由于網(wǎng)絡傳輸?shù)墓逃刑攸c,音頻數(shù)據(jù)和視頻數(shù)據(jù)傳輸?shù)浇邮辗綍r不可能是均勻的。如果發(fā)送方不作任何糾正處理,則很難保證音/視頻的同步輸出。為了實現(xiàn)音頻和視頻的采樣同步,利用鎖相環(huán)PI I 1708.從SAA7115的U C引腳輸出27 MHz時鐘,經(jīng)PLI 1708的SCKO 3引腳輸出默認時鐘頻率18.433 MHz,作為AIC23的輸入主時鐘MCI K.AIC23內(nèi)部采用的時鐘可通過設置寄存器由主時鐘MCLK分頻得到。由于音視頻采樣信號采用同一個時鐘源,因此不會出現(xiàn)音/視頻不同步的問題。

1.3 以太網(wǎng)接口電路

本系統(tǒng)用LXT971作為快速以太網(wǎng)物理層自適應收發(fā)器。LXT971支持IEEE 802.3標準,提供MII(MediaIndependent Interface)接口,可以支持MAC;而DM643內(nèi)部正好集成有MAC控制器,所以LXT971可與DM643實現(xiàn)無縫連接。連接電路如圖3所示,其中BH1102為1:1的隔離變壓器。

圖3 網(wǎng)絡接口原理

1.4存儲器擴展電路

DM643通過EMIF接口擴展了2片32 MB的SDRAM來存放原始圖像數(shù)據(jù),1片4 MB的Flash來存放應用程序。二者都映射到DM643的外部數(shù)據(jù)空間。

2 軟件實現(xiàn)和優(yōu)化

在本系統(tǒng)中,視頻編/解碼算法采用H.264標準[2],音頻編解碼算法采用G.723.1a,回音消除采用G.167,媒體協(xié)議采用RTP/RTCP,網(wǎng)絡協(xié)議采用TCP/UDP/IP,通信協(xié)議采用H.323v.4;另外還軟件實現(xiàn)了靜音、電話功能,并運用抖動緩沖媒體同步技術(shù)實現(xiàn)了各種網(wǎng)絡狀況下的音唇一致。操作系統(tǒng)采用基于DSP/B10S的TI參考架構(gòu)5(RF5)?;赗F5操作系統(tǒng)的應用程序模塊主要包括:音/視頻采集模塊、音/視頻編解碼模塊、UART控制模塊和網(wǎng)絡傳輸模塊。

本系統(tǒng)采用的H.264編/解碼可大大提高圖像質(zhì)量或降低像通信帶寬。同等圖像質(zhì)量,H.264算法比H.263算法碼流降低了5O ;但同時H.264算法比H.263算法復雜得多,需要更強的處理能力,以及做更多的軟件優(yōu)化工作。H.264算法在DM643上的實現(xiàn)和優(yōu)化是整個系統(tǒng)軟件設計的難點和重點。下面以它為例說明軟件的開發(fā)、優(yōu)化工作。

DM643上的軟件開發(fā)過程可分為3個階段:

第1階段是開發(fā)C代碼,然后使用profiling工具確定代碼可能存在的低效率段。為進一步改進代碼性能,需進入第2階段。

第2階段是優(yōu)化C代碼。利用內(nèi)聯(lián)函數(shù)、編譯器的外殼選項等方法進一步優(yōu)化C代碼。再次使用profiling工具檢查其性能,如果代碼仍達不到所期望的效果,須進入第3階段。

第3階段是編寫線性匯編代碼 從C代碼中抽出對性能影響很大的代碼段,用線性匯編重新編寫這段代碼,然后使用匯編優(yōu)化器優(yōu)化該代碼。

2.1 C代碼的開發(fā)和優(yōu)化

開發(fā)過程中要充分利用Tl公司為用戶提供的功能強大的函數(shù)庫,比如IMAGE.LIB庫中就包含許多常用函數(shù),可以實現(xiàn)DCT/IDCT變換、DCT量化、自適應濾波等功能。這些函數(shù)都是優(yōu)化過的,完全能夠?qū)崿F(xiàn)軟件流水,效率很高。另外,開發(fā)C語言代碼還需要考慮的要點包括:① 使用適當?shù)臄?shù)據(jù)結(jié)構(gòu)- - 對定點乘法,應盡可能使用short型數(shù)據(jù);對循環(huán)計數(shù)器應使用int或者無符號int 類型。②使用查找表或常數(shù)值代替通過直接計算得到結(jié)果的語句或函數(shù)。

代碼分析結(jié)果顯示DCT、IDCT 、運動估計占程序總運算量的比重很大,因此這部分是程序優(yōu)化的重點。優(yōu)化C 代碼包括使用編譯器選項、使用內(nèi)聯(lián)函數(shù)、使用軟件流水等。

(1)向編譯器指明不相關(guān)的指令。

為使指令并行操作,編譯器必須確定指令間的相關(guān)性,只有不相關(guān)的指令才可并行執(zhí)行。若編譯器不能確定兩條指令是不相關(guān)的,則只能安排它們串行執(zhí)行。用戶可通過如下方法指明相關(guān)的指令:

①關(guān)鍵字cons t 表示一個變量或一個變量的存儲單元保持不變,使用const 可提高代碼的性能和適應性。

②使用-mt 選項向編譯器說明在代碼中不存在存儲器相關(guān)性,即允許編譯器在無存儲器相關(guān)性的假設下進行優(yōu)化。

(2)使用內(nèi)聯(lián)函數(shù)(intrinsics)。

可用內(nèi)聯(lián)函數(shù)快速優(yōu)化C 代碼。如在算術(shù)操作中,常對計算的結(jié)果做飽和(saturation)處理,使用intrinsics只須調(diào)用SADD, 一個指令周期便可得到最終結(jié)果。比花費兩個嵌套的條件判斷語句來判斷結(jié)果是否溢出,最后得到結(jié)果效率要高得多。

(3)使用軟件流水。

在編譯時,使用-o2 選項和-o3 選項,編譯器可對循環(huán)代碼實現(xiàn)軟件流水。為填滿軟件流水線,軟件流水結(jié)構(gòu)需要執(zhí)行的最小循環(huán)迭代次數(shù)稱為最小循環(huán)次數(shù)。循環(huán)總數(shù)小于最小循環(huán)次數(shù)時,執(zhí)行不流水形式循環(huán); 循環(huán)總數(shù)大于最小循環(huán)次數(shù)時,執(zhí)行軟件流水形式循環(huán)??梢允褂?ms 選項,使編譯器根據(jù)循環(huán)次數(shù)僅產(chǎn)生一種循環(huán)形式; 可使用-o3 和-pm 選項,使優(yōu)化器訪問整個程序,了解循環(huán)次數(shù)信息; 使用-nassert 內(nèi)聯(lián)函數(shù),防止冗余循環(huán)產(chǎn)生;使用-mh 選項,消除軟件流水循環(huán)的排空,從而減小代碼尺寸。

由于在嵌套循環(huán)中編譯器僅對最里面的循環(huán)執(zhí)行軟件流水,因此對于執(zhí)行周期很少的內(nèi)循環(huán)進行循環(huán)展開,對外循環(huán)進行軟件流水。

使用軟件流水應當注意的問題: 盡管軟件流水循環(huán)可以包含內(nèi)聯(lián)函數(shù),但不能包含函數(shù)調(diào)用; 在循環(huán)中不使用break 語句; 循環(huán)控制變量不能與循環(huán)體內(nèi)的語句有關(guān); 如果循環(huán)體內(nèi)復雜的條件代碼需要超過5 個條件寄存器或者32 個以上寄存器,則這個循環(huán)不可進行軟件流水。

(4)片內(nèi)存儲器的分配及DMA技術(shù)的運用。

DM643 內(nèi)部有16 KB 的一級程序緩存、16 KB 的一級數(shù)據(jù)緩存和256 KB 的程序數(shù)據(jù)共享二級緩存,遠小于執(zhí)行程序和待處理圖像數(shù)據(jù),不可能將程序和圖像數(shù)據(jù)都在片內(nèi)RAM 中緩存,因此合理地配置和使用存儲空間,對系統(tǒng)整體效率影響很大。

提高算法程序執(zhí)行速度的關(guān)鍵是使核心循環(huán)代碼和要訪問的數(shù)據(jù)在第1 次訪問之后全部發(fā)生L1P 和L1D 命中。核心循環(huán)代碼占的空間很小,執(zhí)行過一次之后,完全可以全部在L1P 中緩存,因此,不用考慮代碼如何在存儲器中存放,主要問題是圖像數(shù)據(jù)的存放。

由于L1D 采取LRU (Least Recently Used)分配機制,因此對于小于等于16 KB 的連續(xù)存放的數(shù)據(jù)塊可完全在L1D 中命中。以解碼過程為例,IDCT 和運動補償模塊都是以宏塊為單位進行運算的,IDCT 數(shù)據(jù)類型為short型,運動補償中的預測幀和當前幀的數(shù)據(jù)類型為unsignedchar 型。計算一個宏塊(420 格式)的IDCT 和運動補償要訪問的數(shù)據(jù)大小共需1 536 字節(jié),運動補償?shù)臄?shù)據(jù)包括預測宏塊和當前宏塊的數(shù)據(jù),實際解碼中以6 個宏塊(10 KB)作為1 次處理對象。待處理的數(shù)據(jù)要從外部存儲器搬到L2 中連續(xù)的存儲空間,可利用EDMA 與CPU 并行工作的特點,采取Ping??Pong 技術(shù),使CPU 在處理Ping空間數(shù)據(jù)的同時,由EDMA 將下次要處理的數(shù)據(jù)搬到Pong 空間中; 當CPU 處理Pong 空間數(shù)據(jù)時,再由EDMA將Ping 空間已處理好的數(shù)據(jù)搬回外部存儲器,并將下次要處理的數(shù)據(jù)搬到Ping 空間,這樣就可達到CPU 的最大計算能力。Ping、Pong 空間各占用的大小為20 KB, 兩個總共約40 KB.L2 中的剩余空間分出64 KB 留給數(shù)據(jù)空間,用于解碼中常用的解碼表、量化步長、輸入壓縮碼流緩沖區(qū)和輸出碼流緩沖區(qū)等。64 KB 的程序空間用于存儲H. 264 算法中的運動預測、運動補償和中斷服務程序等關(guān)鍵代碼。L2 其余部分配置為Cache, 操作與L1D 類似。

2. 2 編寫線性匯編代碼

為了提高代碼性能,對影響處理速度的關(guān)鍵C 代碼段可以用線性匯編重新編寫。線性匯編代碼類似于匯編代碼,不同的是線性匯編代碼中不需要給出匯編代碼必須指出的所有信息(如所使用的寄存器、指令的并行與否、指令的延遲周期和指令使用的功能單元等),匯編優(yōu)化器會根據(jù)代碼的情況確定這些信息。當然,如果能夠事先確定一些信息(如循環(huán)的執(zhí)行次數(shù)、存儲區(qū)的地址等),則編寫的線性匯編代碼的效率更高。具體的優(yōu)化措施如下:

①使用偽指令向匯編優(yōu)化器提供較為詳細的信息。

②畫出指令的相關(guān)圖,根據(jù)相關(guān)圖合理分配邏輯單元,最大限度地保證指令的并行執(zhí)行。

③充分使用C64x DSP 提供的強大包處理指令處理數(shù)據(jù)(包處理指令可同時處理2 個l6 位數(shù)據(jù)和4 個8 位數(shù)據(jù))。本系統(tǒng)中使用了AVGU4、MIN2、M AX2、SPACKU4、PACK2、D0T P2、D0T PN2 和UNPKLU4 等指令。C64x DSP 還提供了STDW(STNDW)、LDDW(LDNDW)指令,可一次存取連續(xù)的64 位數(shù)據(jù)??衫肔DDW 指令,將作1 次行變換所需數(shù)據(jù)1 次取來,并將處理后的結(jié)果利用STDW 指令一次存好。這樣大大縮短了代碼長度,提高了代碼效率。

④利用Schedule Table 確定循環(huán)的重復間隔,合理安排功能單元,進行軟件的流水。

⑤對于兩重循環(huán)嵌套,可將內(nèi)層循環(huán)展開為外層循環(huán)內(nèi)部的條件指令。這樣可減小由內(nèi)層循環(huán)所帶來的循環(huán)前后的prolog 和epilog 的開銷。

3 性能分析

設計、調(diào)試好硬件系統(tǒng),并在DM643 上對整個系統(tǒng)軟件進行設計和優(yōu)化后,視/ 音頻編/ 解碼的處理速度及系統(tǒng)功能得到了很大提高。IP 可視電話基本做到話音清晰并實時傳輸,在網(wǎng)絡速度為30 kbps 以上時能實現(xiàn)CIF 圖像25~ 30 幀/ s, 并可以音唇同步。

結(jié)語

該系統(tǒng)能在一顆DM643 芯片上實現(xiàn)網(wǎng)絡可視電話的幾乎全部功能,能對音/ 視頻進行實時的編解碼和網(wǎng)絡傳輸,圖像質(zhì)量高且易于升級,是一種比較理想的網(wǎng)絡可視電話解決方案。下一步的工作是把短信、電子郵件等其他功能整合進來。這樣,網(wǎng)絡IP 可視電話必將成為家庭或辦公室的真正桌面通信中心。

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉