分析以嵌入式Linux與S3C2410平臺為基礎的視頻采集
在我們的生活當中經常會遇到這樣一些問題:比如如何對機房的溫濕度進行遠程監(jiān)控;如何一手掌握家里的安全狀況,這都需要應用一種耗電量小、24小時不間斷工作,體積小的遠程視頻監(jiān)控系統(tǒng)。針對數字網絡視頻監(jiān)控系統(tǒng)的需求,設計一種基于MPEG-4網絡視頻服務器。使用基于MPG440的MPEG-4實時視頻壓縮卡壓縮采集到的音視頻數據,利用循環(huán)隊列實現音視頻數據的壓縮,同時運用多線程技術以及傳輸機制解決網絡數據的傳輸,從而有效克制了畫面不清晰、音視頻不同步、馬賽克等現象,保證客戶監(jiān)看時音視頻實時性和同步性。經過實驗證明,該方案經濟高效,可應用在多種需要音視頻監(jiān)控的場合。
1 系統(tǒng)總體設計
系統(tǒng)總體設計包括硬件設計和軟件設計2部分。硬件設計模塊主要包括微控制器模塊、壓縮編碼模塊、網絡接口模塊3部分。微控制器模塊主要由主控芯片、 DATAFLASH和SDRAM組成。當系統(tǒng)啟動時,微控制器將Linux內核調入SDRAM 中,系統(tǒng)從SDRAM中啟動。系統(tǒng)啟動后,微控制器控制MPEG-4編碼模塊進行工作。
軟件設計部分主要包括嵌入式Linux移植、視頻采集以及MPEG-4壓縮編碼模塊、JRTPLIB網絡傳輸模塊和MPEG-4解碼程序4部分。嵌入式 Lin-ux系統(tǒng)存放到由S3C2410控制的DATAFLASH中,它負責整個系統(tǒng)軟件的調度工作。JRTPLIB網絡傳輸模塊主要負責MPEG-4視頻流傳輸與控制的相關設置。MPEG-4解碼程序主要負責對通過網絡得到的 MPEG-4數據流進行解碼工作。
2 硬件系統(tǒng)設計
系統(tǒng)的硬件平臺采用Samsung公司的處理器S3C2410。該處理器內部集成了ARM公司ARM920T處理器核的32位微控制器,資源豐富:帶獨立的16 kB指令Cache和16 kB數據Cache,還有LCD控制器、RAM控制器、4路帶PWM的Timer、并行I/O口、8路 10位ADC、TouchScreen接口、I2C接口、I2S接口、2路SPI,主頻最高可達203 MHz。通過以太網控制器芯片DM9000擴展了一個網口,另外引出了一個HOST、USB接口,通過在USB接口上外接一個帶USB 接口的攝像頭。
3 軟件系統(tǒng)設計
Linux具有內核小,效率高,源代碼開放,內核直接提供網絡支持等優(yōu)點。嵌入式Linux系統(tǒng)主要由4個部分組成:引導內核啟動的文件(bootloader)、Linux內核文件(kernel)、虛擬磁盤文件(ramdisk)、用戶空間文件(user)。它們分別被放在 DATAFLASH內的4個分區(qū)模塊中。宿主機通常為Intel處理器,而目標板為S3C2410,因此程序需要使用針對處理器特點的編譯器才能生成在相應平臺上可運行的代碼。對于嵌入式Linux,宿主機PC上應安裝Linux系統(tǒng),之后在宿主機上建立交叉編譯調試的開發(fā)環(huán)境。
3.1 USB攝像頭驅動
在Linux下,設備驅動程序可以看成是Linux內核與外部設備之間的接口。設備驅動程序向應用程序屏蔽了硬件實現的細節(jié),使得應用程序可以像操作普通文件一樣來操作外部設備,可以使用并操作文件中相同的、標準的系統(tǒng)調用接口函數來完成對硬件設備的打開、關閉、讀/寫和I/O控制操作,而驅動程序的主要任務也就是要實現這些系統(tǒng)的調用函數。
video4Linux(V4L)是Linux中關于視頻設備的內核驅動,是針對視頻設備應用程序編程提供的一系列接口函數。對于USB口攝像頭,其驅動程序中需要提供基本的I/O操作接口函數open,read,write,close來實現。當應用程序對設備文件進行系統(tǒng)調用操作時,Linux內核將通過file-operatiONs結構訪問驅動程序提供的函數,在系統(tǒng)平臺上對USB口數碼攝像頭進行驅動,首先把USB控制器驅動模塊靜態(tài)編譯進內核,使平臺中支持USB接口,再在需要使用攝像頭采集時,使用insmode動態(tài)加載其驅動模塊,這樣攝像頭就可正常工作。
3.2 基于V4L設計的視頻采集模塊
在Linux下,所有外設都被看成是一種特殊的文件,稱為設備文件。系統(tǒng)調用的是內核與應用程序之間的接口,而設備驅動程序則是內核與外設之間的接口。他完成設備的初始化和釋放,對設備文件的各種操作和中斷處理等功能,為應用程序屏蔽了外設硬件的細節(jié),使應用程序可以像普通文件一樣對外設進行操作。
Linux系統(tǒng)中的視頻子系統(tǒng)Video4Linux為視頻應用程序提供了一套統(tǒng)一的API,視頻應用程序通過標準的系統(tǒng)調用即可操作各種不同的視頻捕獲設備。Video4Linux向虛擬文件系統(tǒng)注冊視頻設備文件,應用程序通過操作視頻設備文件實現對視頻設備的訪問。
在此主要針對設備文件/dev/video進行視頻捕捉方面的程序設計。
其中用到的主要函數有:
Camera_open():用來開啟視頻設備文件,使用前需要首先聲明一個video_device類型的設備文件。
Camera_get_capability():通過調用ioctl()函數取得設備文件的相關信息,并存放到video_capability結構中。
Camera_get_picture():通過調用ioctl()函數取得圖像的相關信息,并且存放到video_picture結構中。
Camera_close():用來關閉設備文件。
Camera_grab_image():用來抓取圖像,采用mmap方式,直接將設備文件/dev/video0映射到內存,加速文件I/O操作,還可以使多個線程共享數據。
3.3 視頻壓縮編碼模塊
獲取圖像數據后,可以直接輸出到FrameBuffer進行顯示,由于該系統(tǒng)要將采集到的視頻影響通過網絡傳輸出去,所以在傳輸之前要對原始的圖像數據進行壓縮編碼,在此選用映佳公司的MPG440芯片來實現MPEG-4視頻編解碼方案。MPEG-4壓縮比更高,節(jié)省存儲空間,圖像質量更好,更適合在低帶寬條件下傳輸視頻,而且能保持圖像的質量。
3.4 JRTPLIB網絡傳輸模塊
流媒體指的是在網絡中使用流技術傳輸的連續(xù)時基媒體,RTP是目前解決流媒體實時傳輸問題的最好辦法,JRTPLIB是一個面向對象的RTP庫,它完全遵循RFCl889設計。
3.4.1 初始化
在使用JRTPLIB進行實時流媒體數據傳輸之前,首先應該生成RTPSession類的一個實例來表示此次RTP會話,然后調用 Create()方法來對其進行初始化操作。RTPSession類的Create()方法只有一個參數,用來指明此次RTP會話所采用的端口號。
3.4.2 數據發(fā)送
先設置好數據發(fā)送的目標地址,RTP協(xié)議允許同一會話存在多個目標地址,這個可以通過調用RTPSession類的AddDestination()、DeleteDestination()與 ClearDestinations()的方法來完成。目標地址全部指定了以后,接著就可以調用RTPSession類的SendPacket()方法,向所有的目標地址發(fā)送流媒體數據。
3.4.3 數據接收
調用PollData()方法來接收發(fā)送過來的RTP或者RTCP數據報。由于同一個RTP會話中允許有多個參與者 (源),因此既可以通過調用GotoFirstSource()和GotoNextSource()方法來遍歷所有的源,也可以通過調用 GotoFisstSourceWithDat()和Got-oNextSourceWithData()方法來遍歷那些攜帶有數據的源。
JRTPLIB為RTP數據報定義了3種接收模塊,通過調用RTPSession類的SetReeeiveMode()的方法可設置下列這些接收模式:
RECEIVEMODE_ALL:缺省的接收模式,所有到達的RTP數據報都將會被接受;
RECEIVEMODE_IGNORESOME:除了某些特定的發(fā)送者之外,所有到達的RTP數據報都將被接受,而被拒絕的發(fā)送者列表可以通過調用 AddTo-IgnoreList(),DeleteFromlgnoreList()和ClearIgnoreList()方法進行設置;
RECEIVEMODE_ACCEPTSOME:除了某些特定的發(fā)送者之外,所有到達的RTP數據報都將被拒絕,而被接受的發(fā)送者列表可以通過調用 AddTo-AcceptList(),DeleteFromAcceptList和ClearAcceptList()方法來進行設置。
3.4.4 控制信息
JRTPLIB是一個高度封裝后的RTP庫,只要PollData()或SendPacket()方法被成功調用,JRTPLIB就能夠自動對達到 RTCP數據報進行處理。在系統(tǒng)當中,使用 RTPSessionJRTPLIB類庫提供的方法來實現底層的RTP/RTCP操作,且把他封裝在CrtpTransmitter類中,該類從 MediaSink類繼承而來,接收到相應的媒體幀數據,使用RTPSession類庫的操作把數據發(fā)送到網絡上。
4 結語
系統(tǒng)是以S3C2410平臺和Linux操作系統(tǒng)為基礎,利用Video4Linux設計采集程序,使用MPEG-4壓縮編碼,通過實時流媒體傳輸技術實現網絡傳輸的,有軟硬件成本低廉,體積小巧,安裝簡便等特點??蓴U展應用在工業(yè)控制、視頻會議系統(tǒng)、遠程監(jiān)控系統(tǒng)等諸多領域。