基于S3C2440處理器的嵌入式視頻采集系統(tǒng)

摘要 在研究嵌入式開(kāi)發(fā)技術(shù)的基礎(chǔ)上，提出了一個(gè)基于嵌入式處理器S3C2440的實(shí)時(shí)視頻采集系統(tǒng)解決方案。該方案通過(guò)搭建嵌入式Linux開(kāi)發(fā)環(huán)境，對(duì)T．264編碼器進(jìn)行優(yōu)化，并修改移植視頻驅(qū)動(dòng)以及C／S軟件，實(shí)現(xiàn)了系統(tǒng)的正常運(yùn)行。
關(guān)鍵詞 S3C2440；Linux；C／S軟件；視頻采集

    隨著通信網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，基于網(wǎng)絡(luò)的高質(zhì)量視頻傳輸已逐步取代傳統(tǒng)的文字語(yǔ)音交互模式，成為當(dāng)今數(shù)字通信的主要研究領(lǐng)域之一。而隨著嵌入式操作系統(tǒng)和集成電路設(shè)計(jì)水平的不斷提高，嵌入式技術(shù)與通信網(wǎng)絡(luò)以及多媒體技術(shù)的融合將成為未來(lái)數(shù)字視頻通信領(lǐng)域的主流發(fā)展趨勢(shì)。
    一直以來(lái)，針對(duì)網(wǎng)絡(luò)傳輸實(shí)時(shí)視頻對(duì)嵌入式軟硬件都有較高要求。本文利用基于ARM920T內(nèi)核的S3C2440嵌入式微處理器，采用壓縮比更高的H．264視頻壓縮標(biāo)準(zhǔn)和開(kāi)源嵌入式Linux系統(tǒng)，設(shè)計(jì)了一款基于嵌入式視頻服務(wù)器的遠(yuǎn)程實(shí)時(shí)視頻采集系統(tǒng)。

1 采集系統(tǒng)平臺(tái)搭建
1．1 系統(tǒng)硬件平臺(tái)
    該采集系統(tǒng)以PC作為客戶(hù)端，以廣東友善之臂計(jì)算機(jī)科技有限公司研發(fā)的ARM9開(kāi)發(fā)板Mini2440作為視頻服務(wù)器，采用SamsungS3C2440為微處理器，用專(zhuān)業(yè)穩(wěn)定的CPU內(nèi)核電源芯片和復(fù)位芯片保證系統(tǒng)運(yùn)行時(shí)的穩(wěn)定性。三星公司推出的這款16／32位RISC微處理器S3C2440，采用ARM920T的內(nèi)核，典型主頻400 MHz，最高可達(dá)533 MHz，使用5級(jí)流水線技術(shù)，并采用豐富的控制模塊為各種應(yīng)用提供擴(kuò)展。該采集系統(tǒng)的結(jié)構(gòu)如圖1所示。

1．2 系統(tǒng)軟件平臺(tái)搭建
    PC機(jī)端使用內(nèi)核版本為2．6．18的Linux 5紅帽子企業(yè)版，由于后續(xù)需要在Windows平臺(tái)進(jìn)行FTP資料傳輸?shù)裙ぷ?，所以采取了虛擬機(jī)安裝Linux的方式，這樣方便Linux和Windows的數(shù)據(jù)網(wǎng)絡(luò)交互。虛擬機(jī)軟件版本為Vmware 6．5．1，采用的傳輸軟件為基于SFTP協(xié)議的Flash Fxp。而交叉編譯工具主要為Binutils、Gcc和Glibc。
    一個(gè)嵌入式系統(tǒng)軟件角度主要分為引導(dǎo)加載程序、Linux內(nèi)核和文件系統(tǒng)3個(gè)層次，其中引導(dǎo)加載程序是系統(tǒng)加電后運(yùn)行的第一段軟件代碼。BootLoader就是在操作系統(tǒng)內(nèi)核運(yùn)行之前運(yùn)行的一段程序。在負(fù)責(zé)引導(dǎo)用的Hash存儲(chǔ)器中，通常會(huì)按照?qǐng)D2的順序分布。

    因?yàn)楹笃谶M(jìn)行攝像頭驅(qū)動(dòng)編寫(xiě)移植過(guò)程需要大量的調(diào)試，基于網(wǎng)絡(luò)的NFS根文件系統(tǒng)就比較合適?；谶@種考慮，選擇了網(wǎng)絡(luò)功能強(qiáng)大的U-boot作為BootLoader。移植U-boot主要做了以下工作：(1)修改編譯條件，添加寄存器定義，修改時(shí)鐘。(2)修改中斷禁止部分，添加S3C24 40的中斷禁止代碼。(3)在board目錄創(chuàng)建新開(kāi)發(fā)板目錄。(4)以smdk2410．c為模板修改PLL以及UPLL的設(shè)置。(5)修改Makefile相應(yīng)配置行以支持該開(kāi)發(fā)板。
    修改完畢后進(jìn)入工作目錄進(jìn)行板級(jí)配置，通過(guò)交叉編譯工具鏈對(duì)改后代碼進(jìn)行編譯。利用H-JTAG軟件進(jìn)行燒寫(xiě)，如圖3所示為燒寫(xiě)成功并通過(guò)超級(jí)終端引導(dǎo)完成。

    根文件系統(tǒng)掛載方式主要有ramdisk，NFS和initramfs這3種。制作自啟動(dòng)的嵌入式設(shè)備需要用initramfs作為根文件系統(tǒng)的內(nèi)核進(jìn)行燒寫(xiě)。先0地址處存放的是U-boot，約為100 kB；然后在0x0000～0x40000存放了約64 kB的環(huán)境變量。這兩項(xiàng)均固定，所以u(píng)Image的大小必須控制在1．75 MB以下，并從0x40000開(kāi)始存放。uImage包括內(nèi)核和根文件系統(tǒng)兩部分，需要針對(duì)其進(jìn)行裁減，以符合項(xiàng)目要求。[!--empirenews.page--]
    在嵌入式系統(tǒng)中，BusyBox是構(gòu)造文件系統(tǒng)常用的一個(gè)軟件工具包。本文采用它來(lái)構(gòu)建根文件系統(tǒng)。本項(xiàng)目使用的目標(biāo)板內(nèi)核為L(zhǎng)inux 2．6．29，但根據(jù)項(xiàng)目自啟動(dòng)需要進(jìn)行相應(yīng)裁剪，根據(jù)最小系統(tǒng)標(biāo)準(zhǔn)進(jìn)行裁減，串口、網(wǎng)口、根文件系統(tǒng)可用，并保留本文所要求的攝像頭驅(qū)動(dòng)，裁剪后的內(nèi)核大小為1．3 MB，滿足系統(tǒng)需要，如圖4所示。

2 視頻驅(qū)動(dòng)編寫(xiě)以及C／S軟件設(shè)計(jì)
2．1 T．264編碼庫(kù)優(yōu)化移植
    T．264為中國(guó)視頻編碼自由組織聯(lián)合開(kāi)發(fā)的開(kāi)源編碼器，它對(duì)H．264的特性支持單一，編碼器可輸出標(biāo)準(zhǔn)264碼流，解碼器能解T．264編碼器生成的碼流，它吸收了JM、X264和XVID的優(yōu)點(diǎn)，適用于網(wǎng)絡(luò)流媒體的傳輸。由于本文研究的視頻采集系統(tǒng)應(yīng)用于可視電話視頻會(huì)議等應(yīng)用中，對(duì)網(wǎng)絡(luò)傳輸?shù)囊筝^高，綜合比較后，選用T．264作為本系統(tǒng)的軟件編碼器。
    采用H．264中的基本檔次，僅使用CAVLC熵編碼方式即可滿足應(yīng)用要求。綜合不同平均碼率下的編碼性能以及網(wǎng)絡(luò)傳輸能力的考慮，對(duì)于QCIF格式運(yùn)動(dòng)平緩的視頻序列，編碼輸出幀率為15 f·s-1時(shí)，設(shè)置平均碼率為128 kb·s-1是比較合適的選擇。使用T．264開(kāi)源編碼器，并對(duì)T．264進(jìn)行代碼級(jí)優(yōu)化編譯。在編譯級(jí)添加了如下選項(xiàng)：(1)-fomit-frame-pointer選項(xiàng)忽略函數(shù)中不必要的幀指針，節(jié)省指令開(kāi)銷(xiāo)。(2)-04幾乎打開(kāi)了所有的優(yōu)化選項(xiàng)，以盡可能提高程序運(yùn)行效率。(3)-msoft-float：產(chǎn)生基于浮點(diǎn)運(yùn)算函數(shù)庫(kù)調(diào)用的軟浮點(diǎn)目標(biāo)代碼。
2．2 視頻驅(qū)動(dòng)編寫(xiě)以及C／S軟件設(shè)計(jì)
    采用目前國(guó)內(nèi)市場(chǎng)占有率較大的臺(tái)灣松翰SONIX613a主控芯片的攝像頭，該攝像頭支持Jpeg格式和4：2：0采樣的YUV原始視頻數(shù)據(jù)輸出，數(shù)據(jù)量小，可直接作為H．264等視頻壓縮編碼標(biāo)準(zhǔn)的原始視頻數(shù)據(jù)源，避免了對(duì)圖像的重采樣和色彩空間的變換等復(fù)雜的數(shù)字運(yùn)算處理，適合嵌入式的實(shí)時(shí)視頻采集應(yīng)用。
2．2．1 驅(qū)動(dòng)程序Gspca的修改移植
    Gspca／Spca5xx是自由軟件基金會(huì)發(fā)布的通用USB攝像頭驅(qū)動(dòng)程序。但由于該解決方案在Linux內(nèi)核中并無(wú)驅(qū)動(dòng)支持，所以必須針對(duì)其進(jìn)行驅(qū)動(dòng)的添加和修改，如圖5所示。

[!--empirenews.page--]
2．2．2 C／S軟件設(shè)計(jì)
    出于對(duì)特定的應(yīng)用對(duì)象以及成本的考慮，本文采用基于有線以太網(wǎng)絡(luò)流媒體傳輸H．264視頻的解決方案。采用開(kāi)源軟件VLC作為流媒體服務(wù)器與客戶(hù)端播放器，進(jìn)行單向點(diǎn)對(duì)點(diǎn)實(shí)時(shí)視頻通信。圖6為視頻采集系統(tǒng)工作流程圖。

[!--empirenews.page--]
    (1)服務(wù)器端軟件設(shè)計(jì)。
    視頻采集系統(tǒng)的服務(wù)器端采用后臺(tái)控制程序video_server受理客戶(hù)端video_client對(duì)VLC視頻服務(wù)器的遠(yuǎn)程管理與設(shè)置，通過(guò)同一端口(3490)和同一套消息碼進(jìn)行通信。并在系統(tǒng)初始化腳本／etc／init．d／rcS中激活網(wǎng)卡后添加后臺(tái)運(yùn)行服務(wù)器控制程序Video Server的命令，使開(kāi)發(fā)板啟動(dòng)后在后臺(tái)自動(dòng)運(yùn)行video_server，它首先創(chuàng)建服務(wù)器端的套接口描述符，并與服務(wù)器端口地址及與client端統(tǒng)一的通信端口綁定，接著進(jìn)入服務(wù)響應(yīng)的主循環(huán)體，偵聽(tīng)套接口數(shù)據(jù)及連接，根據(jù)來(lái)自客戶(hù)端的消息請(qǐng)求提供不同服務(wù)。video_server軟件流程如圖7所示。

    (2)客戶(hù)端軟件設(shè)計(jì)。
    客戶(hù)機(jī)端程序Video Client的運(yùn)行于PC機(jī)平臺(tái)，用來(lái)向Server端發(fā)送遠(yuǎn)程控制命令。通過(guò)遠(yuǎn)程控制命令，可以配置服務(wù)器端的視頻格式碼率和傳輸協(xié)議、啟停服務(wù)器端VLC進(jìn)程、調(diào)本地VLC播放器接收并播放來(lái)自服務(wù)器端的視頻圖像等。
    針對(duì)此程序利用跨平臺(tái)界面庫(kù)QT設(shè)計(jì)了GUI操作界面，有助于用戶(hù)的交互。
    由于服務(wù)器端對(duì)CIF格式圖像采集及壓縮編碼速度較慢，因此程序僅支持這兩個(gè)檔次QCIF64 kb·s-1、QCIF-128 kb·s-1。設(shè)置完畢，點(diǎn)Connect按鈕，Client向Server發(fā)送附帶服務(wù)器設(shè)置參數(shù)的連接請(qǐng)求，若從Server接收到OK消息，表明server端接受了本地的連接請(qǐng)求并啟動(dòng)了Server端的VLC服務(wù)器，這時(shí)客戶(hù)端將Connect按鈕置為Disconnect按鈕，同叫調(diào)用本地VLC播放器，接收并播放服務(wù)器發(fā)送的視頻數(shù)據(jù)：若從服務(wù)器接收到NOK消息，則出錯(cuò)。服務(wù)器在正常接收和播放服務(wù)器發(fā)送的視頻數(shù)據(jù)時(shí)，若點(diǎn)Disconnect按鈕，則向Server發(fā)送SRV_QUIT請(qǐng)求，同時(shí)關(guān)閉本地的VLC播放器，Server接收到SRV_QUIT消息后，關(guān)閉Server端的VLC服務(wù)器。
    整個(gè)系統(tǒng)PC機(jī)是客戶(hù)端，基于S3C2440處理器的Mini2440開(kāi)發(fā)平臺(tái)是嵌入式視頻服務(wù)器，Client程序通過(guò)以太網(wǎng)連接服務(wù)器，服務(wù)器響應(yīng)請(qǐng)求后啟動(dòng)VLC進(jìn)行視頻采集并將視頻數(shù)據(jù)傳輸?shù)娇蛻?hù)端，而后Client程序調(diào)用VLC播放器窗口對(duì)接收到的碼流進(jìn)行實(shí)時(shí)播放，正常工作情況如圖8所示。

    從視頻圖像幀率上看，經(jīng)過(guò)優(yōu)化的T．264編碼器對(duì)QCIF視頻平均碼率在128 kbit·s-1時(shí)，編碼速度能夠達(dá)到16 f·s-1，但由于USB攝像頭采集QCIF格式圖像在約13 f·s-1，因此需要在服務(wù)器端設(shè)置壓縮幀率為13 f·s-1，這樣可以保證客戶(hù)端以原有幀率解碼視頻流，從系統(tǒng)的整體性能考慮，這個(gè)碼率能夠滿足遠(yuǎn)程教育和視頻監(jiān)控等應(yīng)用。

3 結(jié)束語(yǔ)
    研究了嵌入式Linux的開(kāi)發(fā)技術(shù)，建立起基于Mini2440開(kāi)發(fā)板的Linux開(kāi)發(fā)平臺(tái)，包括搭建交叉編譯環(huán)境，設(shè)計(jì)裁減移植BootLoader和Linux2．6．29內(nèi)核，構(gòu)建基于BusyBox的根文件系統(tǒng)，開(kāi)發(fā)針對(duì)視頻采集系統(tǒng)的專(zhuān)用攝像頭驅(qū)動(dòng)。研究了H．264視頻壓縮編碼標(biāo)準(zhǔn)，針對(duì)該視頻采集系統(tǒng)對(duì)開(kāi)源的T．264編碼器進(jìn)行編譯和代碼級(jí)優(yōu)化，達(dá)到實(shí)時(shí)應(yīng)用要求。研究了基于UDP協(xié)議的網(wǎng)絡(luò)傳輸方案，修改設(shè)計(jì)服務(wù)器端的采集程序和客戶(hù)端的視頻解碼播放程序，最終實(shí)現(xiàn)嵌入式視頻采集系統(tǒng)的運(yùn)行。