基于ARM的無線視頻傳輸系統(tǒng)的設計
摘要:設計一套低幀速無線視頻傳輸系統(tǒng),將個人計算機屏幕上的圖像通過無線的方式傳輸?shù)酵队皟x上。系統(tǒng)中視頻發(fā)送端采用普通個人計算機,視頻接收端是基于ARM11的嵌入式系統(tǒng)。所傳輸圖像使用JPEG標準進行壓縮,傳輸數(shù)據(jù)鏈路為Wi-Fi。該系統(tǒng)主要用于教學、會議等場合。本系統(tǒng)可以減少演示場合的線纜,并省去頻繁插拔的麻煩。
關鍵詞:無線視頻傳輸;ARM;嵌入式系統(tǒng);Linux
個人計算機設備及其外設的無線化一直是行業(yè)趨勢,隨著科技進步,無線鼠標、無線鍵盤、無線路由等無線設備紛紛問世。但是目前幾乎所有在使用的投影儀都使用線纜和計算機連接,在商務、科研的會議或展示場合,這往往會帶來不便。
視頻傳輸數(shù)據(jù)量大、實時要求高,而完成無線視頻傳輸,無線鏈路的數(shù)據(jù)吞吐量必須大于視頻數(shù)據(jù)流量。近年來Wi-Fi標準不斷演進,傳輸速度越來越高;另一方面,嵌入式處理器的處理能力越來越強,并且芯片廠商會在某些嵌入式處理器中集成DSP核心,使得嵌入式系統(tǒng)的視頻解碼能力有了一個大幅提高,完全能夠完成高解析度的視頻解碼,這使得傳送經(jīng)過壓縮的視頻數(shù)據(jù)成為可能,從而間接地降低了視頻數(shù)據(jù)流所占帶寬的大小。這一切,使得無線視頻傳輸成為可能。
1 系統(tǒng)硬件構成
1.1 系統(tǒng)整體框架
該系統(tǒng)由視頻發(fā)送端和視頻接收端組成,它們之間以Wi-Fi作為通信鏈路。如圖1所示,視頻發(fā)送端是需要進行幻燈片播放的普通計算機,視頻接收端是采用ARM11處理器的嵌入式系統(tǒng),它負責接收、解碼視頻信號,并通過VGA接口將視頻信號傳送至大屏幕顯示設備上(如投影儀,大屏幕平板電視等)。
1.2 視頻接收端硬件構成
圖像接收端采用以三星公司S3C6410芯片為主控的嵌入式系統(tǒng)。S3C6410芯片采用65 nm制程,最高主頻可達667MHz。其內部采用了ARM11核心作為主控部分,并集成了存儲器控制器、USB控制器、LCD控制器等多種外部設備控制、接口;與此同時,S3C6410還集成了多媒體加速內核(Multimedia Acceleration)。S3C6410芯片如圖2所示。
該芯片中集成的多媒體處理核心包括了JPEG編譯碼器,可以實現(xiàn)對JPEG格式圖片的硬件解碼,從而大大提高了系統(tǒng)對JPEG圖片的處理能力。它最大支持編解碼65 535x65 535分辨率的JPEG圖片。接收系統(tǒng)框圖如圖3所示。
視頻接收端配備了Marvell 8636為主控的Wi-Fi模塊,其支持802.11b/g標準,通過SDIO接口與系統(tǒng)相連。
視頻數(shù)據(jù)經(jīng)解壓后輸出到數(shù)模轉換模塊上,最終轉換為VGA信號送至投影儀。
[!--empirenews.page--]
2 系統(tǒng)軟件設計
2.1 系統(tǒng)軟件框絮
視頻發(fā)送端軟件的主要功能:采集當前屏幕顯示圖像,壓縮圖像,傳送經(jīng)壓縮的圖像。除此以外發(fā)送端軟件還需要完成與接收端連接的建立、斷開功能。與之對應的,接收端軟件的主要功能是:接收經(jīng)過壓縮的圖像數(shù)據(jù),進行圖像解碼,顯示圖像。發(fā)送端和接收端之間通過Wi-Fi鏈路傳輸數(shù)據(jù)。系統(tǒng)軟件構架框圖如圖4所示。
在會議場合,典型的演示方式是播放幻燈片,在這種應用場合下,圖像在大部分時間下都是準靜態(tài)的,所以在這種情況下視頻的刷新速度可以保持在一個較低的數(shù)值上,這里我們設定為8幀每秒。此時,若計算機的屏幕分辨率是1 280×800,色深是24 bit,則視頻流的速率是197Mb/s。
而目前普遍采用的802.11 g Wi-Fi標準,其標稱速度只有54 Mbps,并不能滿足以上所需的數(shù)據(jù)帶寬。所以需要對數(shù)據(jù)經(jīng)行壓縮。在1 280x800的分辨率下,壓縮率需要在5:1以上,可以考慮選用JPEG標準。JPEG壓縮品質比較如圖5所示。
JPEG是很靈活的編碼標準,其Q值可以在100以內任意取值。但如果圖片質量過高,不但增加了圖像編碼時CPU的負擔,而且增加了數(shù)據(jù)傳輸量;而圖片質量過低又會影響演示質量。需要在圖像質量和數(shù)據(jù)流量之間找到一個平衡點。
圖5是圖片在不同的JPEG編碼質量下的效果比較,當Q取50時,進過壓縮的圖片在肉眼觀察下任然擁有較高的畫質。而此時,壓縮率是15:1,大于前面分析中提出的5:1壓縮率要求,在這種情況下數(shù)據(jù)速率為13 Mb/s,能夠在802.11 g提供的帶寬下進行傳輸??梢姡琎=50時,圖像質量和數(shù)據(jù)流量之間可以取得一個較好的平衡。
2.2 視頻發(fā)送端軟件設計
該系統(tǒng)的發(fā)送端軟件基于windows設計。其實現(xiàn)的主要功能可以概括為:采集當前屏幕顯示圖像,壓縮圖像,傳送經(jīng)壓縮的圖像。發(fā)送端軟件流程圖如圖6所示。
在windows環(huán)境下捕捉當前屏幕的方法有:GDI,DirectX,以及Windows media API。其中采用GDI時效率不高,不適合應用在該系統(tǒng)中,這里選用DirectX。
在DirectX中提供了g_pd3dDevice對象,這是一個IDixeet3DDevice9對象,可以調用IDirect3DSudace9::LockRect()方法來獲得一個指針,這個指針指向當前顯示緩存的首地址,再使用合適的算法計算出當前顯示緩存區(qū)的大小,就可以很方便地復制顯示緩存的內容至指定內存區(qū)域,并采用JEPG標準壓縮所采集到的數(shù)據(jù)。具體原理和過程如下:每一個DirectX程序都包含了后臺緩存,與此同時,每個程序在默認狀態(tài)下都可以訪問前臺緩存,前臺緩存即存儲了當前的Windows桌面內容。訪問這個前臺緩存就可以捕捉當前桌面所顯示的畫面。以下是捕捉屏幕的關鍵代碼。[!--empirenews.page--]
在以下的代碼片中,g_pd3dDevice是一個IDirect3D Device9對象,這里假設它已經(jīng)被初始化過了。這段代碼捕獲了所需的桌面圖像,其后需要對所捕捉到的位圖進行處理。此時可以調用IDirect3DSurface9::LockRect()方法,來獲得一個指向所所捕獲到的位圖首字節(jié)的指針,然后根據(jù)屏幕的尺寸來確定位圖的大小,最終將所需的位圖數(shù)據(jù)復制到事先定義好的緩存中。
需要注意的是,以上代碼中所捕捉到的位圖,它的寬度不一定就是屏幕的實際寬度,這是由于在存儲位圖時采用了內存對齊的方法,在位圖中內存被按字(word)對齊,所以在每行的結尾處可能需要添加額外的字節(jié)來完成內存對其,從而使位圖寬度大于實際屏幕寬度。此時可以使用lockedRect.Pitch來獲得每行的實際寬度。
捕捉圖像和壓縮圖像時采用雙緩沖模式:在0時隙內,捕捉線程將數(shù)據(jù)寫入Buffer A中,壓縮線程Buffer B中的圖像,Buffer B中存儲了在上個時隙中采集完畢的圖像數(shù)據(jù);在1時隙,捕捉線程將數(shù)據(jù)寫入Buffer B,壓縮線程處理Buffer A中的圖像。
圖像捕捉線程和圖像壓縮線程構成了—個典型的“生產(chǎn)者-消費者”系統(tǒng),在采用雙緩沖的基礎上再增加信號機制,可以很好地解決系統(tǒng)中同步與互斥問題。雙緩沖示意圖如圖7所示。
發(fā)送部分調用windows中所提供的相關Winsock(套接字)函數(shù)來完成網(wǎng)絡傳輸功能,這里選用UDP協(xié)議,并采用丟包、錯包不重傳機制。(接收端的圖像每1/8秒刷新一次,丟棄部分圖像數(shù)據(jù)并不會明顯降低用戶的使用體驗。)
考慮到在該系統(tǒng)所應用的實際場合中,往往會遇到演示畫面在較長一段時間內(數(shù)秒至數(shù)分鐘)并不發(fā)生任何變換的情況,可以在圖像發(fā)送端軟件中加入前一幀數(shù)據(jù)與當前幀比較的功能,若數(shù)據(jù)未發(fā)生改變,則不壓縮也不傳送圖像數(shù)據(jù),而只是傳送給接收端一個特殊的保持信號,這樣可以大大降低處理器負荷以及無線網(wǎng)絡的傳輸負荷,使得無線網(wǎng)絡還有余力完成其他用戶的其他任務。
2.3 視頻接收端軟件設計
圖像接收端采用嵌入式Linux操作系統(tǒng)。Linux具有內核可剪裁、開放源代碼、開發(fā)周期短等優(yōu)點,并且支持完整的TCP/IP協(xié)議棧。
接收端軟件主要功能為:接收經(jīng)壓縮的圖像數(shù)據(jù),控制處理器中多媒體處理核心解碼JPEG圖像,顯示圖像。這里也可以采用相似的雙緩沖方法,在接收和解壓線程之間設立雙緩沖,各自擁有一個輪回跳動的指針來交替對兩片緩沖區(qū)經(jīng)行操作。
圖像解壓模塊負責將接收到的JPEG圖像還原為位圖。它將利用S3C6410芯片內部的硬件解碼來加速系統(tǒng)的執(zhí)行效率。解壓后的數(shù)據(jù)將被直接寫入顯示緩存中。
6410的JPEG解碼過程如下:初始化用CresteFile打開“JPG1:”解碼驅動,每次解碼首先要獲取Stream Buffer(IOCTL_JPG_STRBUF),將JPEG數(shù)據(jù)拷貝到Stream Buffer,接著調用解碼(IOCTL_JPG_DECODE),最后通過獲取Frame Buffer(IOCTL_JPG_GET_FRMBUF)得到解碼后數(shù)據(jù)。
在系統(tǒng)運行過程中若出現(xiàn)數(shù)據(jù)量超出處理能力的情況,則采用直接丟棄的處理方法。接收端軟件流程圖如圖8所示。
3 結束語
本系統(tǒng)基于三星公司的S3C6410處理器以及Wi-Fi技術,能夠完成8幀/秒的無線視頻傳輸,并提供了較好的圖像質量(JPEG品質因數(shù)50)。圖像接收端能夠完成對JPEG圖片的實時解碼。適合應用在低幀速視頻傳輸場合,如幻燈片播放,計算機操作演示、教學等。該系統(tǒng)中的視頻接收端的硬件成本可以控制在600元以內。其在圖像幀速、圖像質量、對發(fā)送端處理能力要求、接收端系統(tǒng)成本等因素之間,找到了一個較好的平衡點。