當(dāng)前位置:首頁(yè) > 嵌入式 > 嵌入式軟件
[導(dǎo)讀]基于ARM的無(wú)線視頻傳輸系統(tǒng)的設(shè)計(jì)

摘要:設(shè)計(jì)一套低幀速無(wú)線視頻傳輸系統(tǒng),將個(gè)人計(jì)算機(jī)屏幕上的圖像通過(guò)無(wú)線的方式傳輸?shù)酵队皟x上。系統(tǒng)中視頻發(fā)送端采用普通個(gè)人計(jì)算機(jī),視頻接收端是基于ARM11的嵌入式系統(tǒng)。所傳輸圖像使用JPEG標(biāo)準(zhǔn)進(jìn)行壓縮,傳輸數(shù)據(jù)鏈路為Wi-Fi。該系統(tǒng)主要用于教學(xué)、會(huì)議等場(chǎng)合。本系統(tǒng)可以減少演示場(chǎng)合的線纜,并省去頻繁插拔的麻煩。
關(guān)鍵詞:無(wú)線視頻傳輸;ARM;嵌入式系統(tǒng);Linux

    個(gè)人計(jì)算機(jī)設(shè)備及其外設(shè)的無(wú)線化一直是行業(yè)趨勢(shì),隨著科技進(jìn)步,無(wú)線鼠標(biāo)、無(wú)線鍵盤、無(wú)線路由等無(wú)線設(shè)備紛紛問(wèn)世。但是目前幾乎所有在使用的投影儀都使用線纜和計(jì)算機(jī)連接,在商務(wù)、科研的會(huì)議或展示場(chǎng)合,這往往會(huì)帶來(lái)不便。
    視頻傳輸數(shù)據(jù)量大、實(shí)時(shí)要求高,而完成無(wú)線視頻傳輸,無(wú)線鏈路的數(shù)據(jù)吞吐量必須大于視頻數(shù)據(jù)流量。近年來(lái)Wi-Fi標(biāo)準(zhǔn)不斷演進(jìn),傳輸速度越來(lái)越高;另一方面,嵌入式處理器的處理能力越來(lái)越強(qiáng),并且芯片廠商會(huì)在某些嵌入式處理器中集成DSP核心,使得嵌入式系統(tǒng)的視頻解碼能力有了一個(gè)大幅提高,完全能夠完成高解析度的視頻解碼,這使得傳送經(jīng)過(guò)壓縮的視頻數(shù)據(jù)成為可能,從而間接地降低了視頻數(shù)據(jù)流所占帶寬的大小。這一切,使得無(wú)線視頻傳輸成為可能。

1 系統(tǒng)硬件構(gòu)成
1.1 系統(tǒng)整體框架
    該系統(tǒng)由視頻發(fā)送端和視頻接收端組成,它們之間以Wi-Fi作為通信鏈路。如圖1所示,視頻發(fā)送端是需要進(jìn)行幻燈片播放的普通計(jì)算機(jī),視頻接收端是采用ARM11處理器的嵌入式系統(tǒng),它負(fù)責(zé)接收、解碼視頻信號(hào),并通過(guò)VGA接口將視頻信號(hào)傳送至大屏幕顯示設(shè)備上(如投影儀,大屏幕平板電視等)。


1.2 視頻接收端硬件構(gòu)成
    圖像接收端采用以三星公司S3C6410芯片為主控的嵌入式系統(tǒng)。S3C6410芯片采用65 nm制程,最高主頻可達(dá)667MHz。其內(nèi)部采用了ARM11核心作為主控部分,并集成了存儲(chǔ)器控制器、USB控制器、LCD控制器等多種外部設(shè)備控制、接口;與此同時(shí),S3C6410還集成了多媒體加速內(nèi)核(Multimedia Acceleration)。S3C6410芯片如圖2所示。


    該芯片中集成的多媒體處理核心包括了JPEG編譯碼器,可以實(shí)現(xiàn)對(duì)JPEG格式圖片的硬件解碼,從而大大提高了系統(tǒng)對(duì)JPEG圖片的處理能力。它最大支持編解碼65 535x65 535分辨率的JPEG圖片。接收系統(tǒng)框圖如圖3所示。
    視頻接收端配備了Marvell 8636為主控的Wi-Fi模塊,其支持802.11b/g標(biāo)準(zhǔn),通過(guò)SDIO接口與系統(tǒng)相連。
    視頻數(shù)據(jù)經(jīng)解壓后輸出到數(shù)模轉(zhuǎn)換模塊上,最終轉(zhuǎn)換為VGA信號(hào)送至投影儀。
[!--empirenews.page--]
2 系統(tǒng)軟件設(shè)計(jì)
2.1 系統(tǒng)軟件框絮
    視頻發(fā)送端軟件的主要功能:采集當(dāng)前屏幕顯示圖像,壓縮圖像,傳送經(jīng)壓縮的圖像。除此以外發(fā)送端軟件還需要完成與接收端連接的建立、斷開(kāi)功能。與之對(duì)應(yīng)的,接收端軟件的主要功能是:接收經(jīng)過(guò)壓縮的圖像數(shù)據(jù),進(jìn)行圖像解碼,顯示圖像。發(fā)送端和接收端之間通過(guò)Wi-Fi鏈路傳輸數(shù)據(jù)。系統(tǒng)軟件構(gòu)架框圖如圖4所示。


    在會(huì)議場(chǎng)合,典型的演示方式是播放幻燈片,在這種應(yīng)用場(chǎng)合下,圖像在大部分時(shí)間下都是準(zhǔn)靜態(tài)的,所以在這種情況下視頻的刷新速度可以保持在一個(gè)較低的數(shù)值上,這里我們?cè)O(shè)定為8幀每秒。此時(shí),若計(jì)算機(jī)的屏幕分辨率是1 280×800,色深是24 bit,則視頻流的速率是197Mb/s。
    而目前普遍采用的802.11 g Wi-Fi標(biāo)準(zhǔn),其標(biāo)稱速度只有54 Mbps,并不能滿足以上所需的數(shù)據(jù)帶寬。所以需要對(duì)數(shù)據(jù)經(jīng)行壓縮。在1 280x800的分辨率下,壓縮率需要在5:1以上,可以考慮選用JPEG標(biāo)準(zhǔn)。JPEG壓縮品質(zhì)比較如圖5所示。


    JPEG是很靈活的編碼標(biāo)準(zhǔn),其Q值可以在100以內(nèi)任意取值。但如果圖片質(zhì)量過(guò)高,不但增加了圖像編碼時(shí)CPU的負(fù)擔(dān),而且增加了數(shù)據(jù)傳輸量;而圖片質(zhì)量過(guò)低又會(huì)影響演示質(zhì)量。需要在圖像質(zhì)量和數(shù)據(jù)流量之間找到一個(gè)平衡點(diǎn)。
    圖5是圖片在不同的JPEG編碼質(zhì)量下的效果比較,當(dāng)Q取50時(shí),進(jìn)過(guò)壓縮的圖片在肉眼觀察下任然擁有較高的畫質(zhì)。而此時(shí),壓縮率是15:1,大于前面分析中提出的5:1壓縮率要求,在這種情況下數(shù)據(jù)速率為13 Mb/s,能夠在802.11 g提供的帶寬下進(jìn)行傳輸??梢?jiàn),Q=50時(shí),圖像質(zhì)量和數(shù)據(jù)流量之間可以取得一個(gè)較好的平衡。
2.2 視頻發(fā)送端軟件設(shè)計(jì)
    該系統(tǒng)的發(fā)送端軟件基于windows設(shè)計(jì)。其實(shí)現(xiàn)的主要功能可以概括為:采集當(dāng)前屏幕顯示圖像,壓縮圖像,傳送經(jīng)壓縮的圖像。發(fā)送端軟件流程圖如圖6所示。


    在windows環(huán)境下捕捉當(dāng)前屏幕的方法有:GDI,DirectX,以及Windows media API。其中采用GDI時(shí)效率不高,不適合應(yīng)用在該系統(tǒng)中,這里選用DirectX。
    在DirectX中提供了g_pd3dDevice對(duì)象,這是一個(gè)IDixeet3DDevice9對(duì)象,可以調(diào)用IDirect3DSudace9::LockRect()方法來(lái)獲得一個(gè)指針,這個(gè)指針指向當(dāng)前顯示緩存的首地址,再使用合適的算法計(jì)算出當(dāng)前顯示緩存區(qū)的大小,就可以很方便地復(fù)制顯示緩存的內(nèi)容至指定內(nèi)存區(qū)域,并采用JEPG標(biāo)準(zhǔn)壓縮所采集到的數(shù)據(jù)。具體原理和過(guò)程如下:每一個(gè)DirectX程序都包含了后臺(tái)緩存,與此同時(shí),每個(gè)程序在默認(rèn)狀態(tài)下都可以訪問(wèn)前臺(tái)緩存,前臺(tái)緩存即存儲(chǔ)了當(dāng)前的Windows桌面內(nèi)容。訪問(wèn)這個(gè)前臺(tái)緩存就可以捕捉當(dāng)前桌面所顯示的畫面。以下是捕捉屏幕的關(guān)鍵代碼。[!--empirenews.page--]
    在以下的代碼片中,g_pd3dDevice是一個(gè)IDirect3D Device9對(duì)象,這里假設(shè)它已經(jīng)被初始化過(guò)了。這段代碼捕獲了所需的桌面圖像,其后需要對(duì)所捕捉到的位圖進(jìn)行處理。此時(shí)可以調(diào)用IDirect3DSurface9::LockRect()方法,來(lái)獲得一個(gè)指向所所捕獲到的位圖首字節(jié)的指針,然后根據(jù)屏幕的尺寸來(lái)確定位圖的大小,最終將所需的位圖數(shù)據(jù)復(fù)制到事先定義好的緩存中。

    需要注意的是,以上代碼中所捕捉到的位圖,它的寬度不一定就是屏幕的實(shí)際寬度,這是由于在存儲(chǔ)位圖時(shí)采用了內(nèi)存對(duì)齊的方法,在位圖中內(nèi)存被按字(word)對(duì)齊,所以在每行的結(jié)尾處可能需要添加額外的字節(jié)來(lái)完成內(nèi)存對(duì)其,從而使位圖寬度大于實(shí)際屏幕寬度。此時(shí)可以使用lockedRect.Pitch來(lái)獲得每行的實(shí)際寬度。
    捕捉圖像和壓縮圖像時(shí)采用雙緩沖模式:在0時(shí)隙內(nèi),捕捉線程將數(shù)據(jù)寫入Buffer A中,壓縮線程Buffer B中的圖像,Buffer B中存儲(chǔ)了在上個(gè)時(shí)隙中采集完畢的圖像數(shù)據(jù);在1時(shí)隙,捕捉線程將數(shù)據(jù)寫入Buffer B,壓縮線程處理Buffer A中的圖像。
    圖像捕捉線程和圖像壓縮線程構(gòu)成了—個(gè)典型的“生產(chǎn)者-消費(fèi)者”系統(tǒng),在采用雙緩沖的基礎(chǔ)上再增加信號(hào)機(jī)制,可以很好地解決系統(tǒng)中同步與互斥問(wèn)題。雙緩沖示意圖如圖7所示。


    發(fā)送部分調(diào)用windows中所提供的相關(guān)Winsock(套接字)函數(shù)來(lái)完成網(wǎng)絡(luò)傳輸功能,這里選用UDP協(xié)議,并采用丟包、錯(cuò)包不重傳機(jī)制。(接收端的圖像每1/8秒刷新一次,丟棄部分圖像數(shù)據(jù)并不會(huì)明顯降低用戶的使用體驗(yàn)。)
    考慮到在該系統(tǒng)所應(yīng)用的實(shí)際場(chǎng)合中,往往會(huì)遇到演示畫面在較長(zhǎng)一段時(shí)間內(nèi)(數(shù)秒至數(shù)分鐘)并不發(fā)生任何變換的情況,可以在圖像發(fā)送端軟件中加入前一幀數(shù)據(jù)與當(dāng)前幀比較的功能,若數(shù)據(jù)未發(fā)生改變,則不壓縮也不傳送圖像數(shù)據(jù),而只是傳送給接收端一個(gè)特殊的保持信號(hào),這樣可以大大降低處理器負(fù)荷以及無(wú)線網(wǎng)絡(luò)的傳輸負(fù)荷,使得無(wú)線網(wǎng)絡(luò)還有余力完成其他用戶的其他任務(wù)。
2.3 視頻接收端軟件設(shè)計(jì)
    圖像接收端采用嵌入式Linux操作系統(tǒng)。Linux具有內(nèi)核可剪裁、開(kāi)放源代碼、開(kāi)發(fā)周期短等優(yōu)點(diǎn),并且支持完整的TCP/IP協(xié)議棧。
    接收端軟件主要功能為:接收經(jīng)壓縮的圖像數(shù)據(jù),控制處理器中多媒體處理核心解碼JPEG圖像,顯示圖像。這里也可以采用相似的雙緩沖方法,在接收和解壓線程之間設(shè)立雙緩沖,各自擁有一個(gè)輪回跳動(dòng)的指針來(lái)交替對(duì)兩片緩沖區(qū)經(jīng)行操作。
    圖像解壓模塊負(fù)責(zé)將接收到的JPEG圖像還原為位圖。它將利用S3C6410芯片內(nèi)部的硬件解碼來(lái)加速系統(tǒng)的執(zhí)行效率。解壓后的數(shù)據(jù)將被直接寫入顯示緩存中。
    6410的JPEG解碼過(guò)程如下:初始化用CresteFile打開(kāi)“JPG1:”解碼驅(qū)動(dòng),每次解碼首先要獲取Stream Buffer(IOCTL_JPG_STRBUF),將JPEG數(shù)據(jù)拷貝到Stream Buffer,接著調(diào)用解碼(IOCTL_JPG_DECODE),最后通過(guò)獲取Frame Buffer(IOCTL_JPG_GET_FRMBUF)得到解碼后數(shù)據(jù)。
    在系統(tǒng)運(yùn)行過(guò)程中若出現(xiàn)數(shù)據(jù)量超出處理能力的情況,則采用直接丟棄的處理方法。接收端軟件流程圖如圖8所示。



3 結(jié)束語(yǔ)
    本系統(tǒng)基于三星公司的S3C6410處理器以及Wi-Fi技術(shù),能夠完成8幀/秒的無(wú)線視頻傳輸,并提供了較好的圖像質(zhì)量(JPEG品質(zhì)因數(shù)50)。圖像接收端能夠完成對(duì)JPEG圖片的實(shí)時(shí)解碼。適合應(yīng)用在低幀速視頻傳輸場(chǎng)合,如幻燈片播放,計(jì)算機(jī)操作演示、教學(xué)等。該系統(tǒng)中的視頻接收端的硬件成本可以控制在600元以內(nèi)。其在圖像幀速、圖像質(zhì)量、對(duì)發(fā)送端處理能力要求、接收端系統(tǒng)成本等因素之間,找到了一個(gè)較好的平衡點(diǎn)。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉