基于Intel Xscale和Linux 的視頻模塊設(shè)計(jì)

1 引言

隨著計(jì)算機(jī)進(jìn)入后PC時(shí)代、多媒體技術(shù)和無線通信技術(shù)的發(fā)展，融合通信、計(jì)算和多媒體功能的各類多媒體終端（如）應(yīng)用正在成為開發(fā)應(yīng)用的新亮點(diǎn)，視頻則是這類應(yīng)用中不可缺少的重要組成部分。多媒體終端，作為嵌入式系統(tǒng)，大多數(shù)應(yīng)用場合是對速度、功耗、體積有嚴(yán)格要求的車載、移動(dòng)通信、手持式設(shè)備等，那么如何設(shè)計(jì)一個(gè)體積小、實(shí)時(shí)處理能力強(qiáng)、功耗低、可移植性強(qiáng)的視頻模塊以滿足嵌入式系統(tǒng)設(shè)計(jì)對速度、功耗和空間的要求和應(yīng)用開發(fā)的需求就成為一個(gè)很有意義的課題。

基于XScale 技術(shù)的新型處理器 是英特爾公司推出的為無線通信設(shè)備帶來更高性能和更低能耗的微處理器產(chǎn)品，為多媒體手機(jī)、掌上電腦、車載信息通訊系統(tǒng)及其它無線互聯(lián)網(wǎng)產(chǎn)品提供了強(qiáng)大動(dòng)力。本文介紹了基于 處理器和嵌入式 操作系統(tǒng)的無線多媒體移動(dòng)終端的視頻模塊的設(shè)計(jì)與開發(fā)，該視頻模塊具有實(shí)時(shí)采集、壓縮、解壓、顯示、拍攝和存儲圖像等功能，經(jīng)過壓縮的視頻信號還可以通過 進(jìn)行傳輸。由于采用了模塊化設(shè)計(jì)，該視頻模塊還可以很。容易的移植到別的多媒體終端應(yīng)用中。

2 硬件設(shè)計(jì)

硬件設(shè)計(jì)時(shí)，視頻模塊的主體部分采用外置形式，與終端平臺的接口采用目前廣泛采用的USB 接口，視頻模塊的硬件原理框圖如圖1 所示。采用這樣的硬件結(jié)構(gòu)，是基于以下的考慮。①較高的傳輸速度，尤其是USB 總線對實(shí)時(shí)傳輸?shù)牧己弥С挚梢詽M足圖像實(shí)時(shí)性的要求。②“即插即用”操作，終端平臺可以對攝像頭進(jìn)行自動(dòng)檢測和配置，節(jié)省了系統(tǒng)功耗。③攝像頭采用外置形式，節(jié)約了系統(tǒng)的硬件空間，現(xiàn)成USB總線的固件或芯片包含低級并行/串行轉(zhuǎn)換、誤差校驗(yàn)和數(shù)據(jù)流控制算法等功能，可以簡化系統(tǒng)設(shè)計(jì)工作。④基于USB總線的可擴(kuò)展性，可方便的進(jìn)行系統(tǒng)功能擴(kuò)展，符合嵌入式系統(tǒng)接口串行、高速的發(fā)展方向。⑤可移植性，采用了模塊化設(shè)計(jì)和USB 總線進(jìn)行傳輸，可以很容易的移植到帶有USB 接口的別的嵌入式系統(tǒng)中。

由于數(shù)字?jǐn)z像頭所采集到的圖像數(shù)據(jù)是沒有經(jīng)過壓縮處理的，數(shù)據(jù)量非常大，不符合USB 總線實(shí)時(shí)傳輸?shù)囊?。因此在?jīng)過USB總線傳輸以前必須使用視頻壓縮芯片對采集到的視頻數(shù)據(jù)進(jìn)行壓縮，該類芯片的特點(diǎn)是將某一標(biāo)準(zhǔn)的壓縮算法固化在其中, 具有開發(fā)成本低、開發(fā)周期短、運(yùn)算速度快等優(yōu)點(diǎn)，符合圖像傳輸實(shí)時(shí)性的要求。經(jīng)過對各種專用視頻壓縮芯片的選擇，采用了公司推出的高性能攝像機(jī)到USB 接口芯片，該芯片降低了產(chǎn)品的成本，極大地簡化了單片圖像和USB的接口，可以很容易地構(gòu)成基于USB的視頻子系統(tǒng)。

最大視頻傳輸速度的設(shè)計(jì)，使得系統(tǒng)能夠以更加實(shí)時(shí)的方式獲取大量的視頻信息。片內(nèi)高性能專用壓縮引擎可以達(dá)到7:1 的壓縮比，保證了從圖像到終端平臺的快速圖像傳輸。對于QVGA圖像格式，的壓縮引擎支持高達(dá)30 幀/秒的傳輸速度，減少了低帶寬應(yīng)用中通常會出現(xiàn)的圖像跳動(dòng)現(xiàn)象。OV518還具有優(yōu)秀的靜態(tài)圖像捕捉功能，使用起來和數(shù)碼相機(jī)一樣方便。其內(nèi)部結(jié)構(gòu)如圖1 中USB 連接橋部分所示。由于 的USB 接口只有從控制器，只能作為一個(gè)從設(shè)備使用，我們采用公司的為PXA255擴(kuò)展了兩個(gè)USB主接口。是專門用以在嵌入式系統(tǒng)或便攜式設(shè)備中實(shí)現(xiàn)USB 協(xié)議的芯片，支持所有的傳輸類型：控制、中斷、批量及同步。該芯片還提供了節(jié)能工作模式以減少功耗，每個(gè)下行端口都有獨(dú)立的過流檢測輸入引腳和電源供電控制輸出引腳，使系統(tǒng)電源的管理更加靈活。與CPU的接口，是專為 的CPU設(shè)計(jì)的，極大的簡化了設(shè)計(jì)工作，可以不加修改的移植到別的嵌入式系統(tǒng)應(yīng)用中。總之，整個(gè)視頻模塊硬件設(shè)計(jì)體現(xiàn)了嵌入式系統(tǒng)設(shè)計(jì)對體積，速度和功耗的要求，既保持了很高的處理速度和很小的集成空間，又降低了系統(tǒng)的功耗。

3 軟件設(shè)計(jì)

3.1 軟件平臺

微處理器PXA255 功能強(qiáng)大，系統(tǒng)資源十分豐富，十分需要一個(gè)功能強(qiáng)大的操作系統(tǒng)來管理這些資源，經(jīng)過對各種嵌入式操作系統(tǒng)的比較，嵌入式的諸多優(yōu)點(diǎn)非常適合于作為該終端的操作系統(tǒng)：開放的源碼，可移植性強(qiáng)，強(qiáng)大的網(wǎng)絡(luò)功能和對USB 總線及設(shè)備的良好支持。終端平臺采用圖形用戶界面，出于嵌入式系統(tǒng)對實(shí)時(shí)性和對GUI 的占用資源少、高性能、高可靠性及可配置的考慮，我們選擇了MiniGUI圖形用戶界面支持系統(tǒng)。

3.2 視頻模塊軟件的基本結(jié)構(gòu)

視頻模塊軟件的設(shè)計(jì)采取了模塊化的設(shè)計(jì)方法，根據(jù)視頻模塊設(shè)計(jì)的特點(diǎn)和多媒體終端視頻功能的需求，整個(gè)視頻模塊軟件有4 個(gè)功能模塊組成：USB 模塊、攝像頭驅(qū)動(dòng)模塊、解碼模塊、視頻應(yīng)用模塊，完成了采集、解碼、本地顯示、本地用戶控制和網(wǎng)絡(luò)傳輸?shù)裙δ?，其基本結(jié)構(gòu)如圖2 所示。為了提高圖像采集的實(shí)時(shí)性和系統(tǒng)性能，在各個(gè)模塊的設(shè)計(jì)過程中，根據(jù) 操作系統(tǒng)的特點(diǎn)和采用的解壓縮算法的特征，我們對程序和算法進(jìn)行了優(yōu)化、簡化，以加快計(jì)算速度，提高效率。以下將對各個(gè)模塊的功能和實(shí)現(xiàn)進(jìn)行介紹。

3.2.1 USB 模塊

該模塊包括USB 總線驅(qū)動(dòng)程序（）和主控制器驅(qū)動(dòng)（HCD）。 主要處理USB 協(xié)議中與硬件無關(guān)的部分，對協(xié)議規(guī)定的USB 總線以及USB 設(shè)備共有的操作和性質(zhì)提供支持。HCD 負(fù)責(zé)對ISP1160 進(jìn)行抽象和對USB 的低級支持，ISP1160 的寄存器編程來驅(qū)動(dòng)ISP1160，為上層的USB 總線驅(qū)動(dòng)提供軟件接口來控制ISP1160。圖3 給出了USB 模塊的軟件功能結(jié)構(gòu)圖。Linux 操作系統(tǒng)提供有穩(wěn)定的USB 總線驅(qū)動(dòng)程序，我們只需要編寫HCD 程序。在HCD 的設(shè)計(jì)中，我們結(jié)合ISP1160 專為嵌入式設(shè)備設(shè)計(jì)的特性對實(shí)時(shí)傳輸和非實(shí)時(shí)傳輸進(jìn)行不同的調(diào)度，增強(qiáng)了對USB 總線實(shí)時(shí)傳輸?shù)闹С?；結(jié)合Linux對軟中斷的良好支持，采用底半部機(jī)制（bottom half）提高中斷處理的實(shí)時(shí)性。通過這兩項(xiàng)措施有效的提高了視頻數(shù)據(jù)傳輸?shù)姆€(wěn)定性和速度，降低了對系統(tǒng)資源的消耗。

3.2.2 攝像頭驅(qū)動(dòng)模塊

該模塊為攝像頭的USB類型驅(qū)動(dòng)（ClassDriver）,其主要功能是對視頻應(yīng)用模塊提供符合Linux 的視頻捕獲標(biāo)準(zhǔn)V4L2（ for Linux Two）的接口，通過USB ?？旖邮請D像數(shù)據(jù)。V4L2 是Linux 平臺上處理和訪問視頻設(shè)備的最新的標(biāo)準(zhǔn)應(yīng)用程序接口，通過該接口，模塊對視頻應(yīng)用模塊提供QVGA(320*240)和VGA(640*480)兩種采集模式的切換，視頻圖像參數(shù)的調(diào)整，彩色和黑白視頻流和靜止圖像的采集功能。該驅(qū)動(dòng)采用多個(gè)幀緩沖存儲空間,并使這些幀存輪流處于接收數(shù)據(jù)和存儲數(shù)據(jù)狀態(tài)，當(dāng)收到圖像幀事件發(fā)生時(shí)，將會觸發(fā)相應(yīng)的機(jī)制，實(shí)現(xiàn)了圖像幀的異步接收，異步接收機(jī)制提高了程序的運(yùn)行效率。除了實(shí)現(xiàn)V4L2 標(biāo)準(zhǔn)常規(guī)的 接口外，還重點(diǎn)實(shí)現(xiàn)了mmap（Map into application address ）接口，通過該接口，可以把內(nèi)核空間的設(shè)備內(nèi)存地址空間映射到用戶空間的地址空間，減少了圖像數(shù)據(jù)拷貝的次數(shù)，提高了圖像采集的實(shí)時(shí)性。

3.2.3 解碼模塊

由于圖像經(jīng)過了壓縮引擎的壓縮，在本地終端進(jìn)行實(shí)時(shí)顯示之前必須經(jīng)過解碼模塊的解碼，如果視頻流通過網(wǎng)絡(luò)進(jìn)行傳輸，在本地終端視頻流則不必經(jīng)過該模塊，但是遠(yuǎn)程應(yīng)用仍然需要該模塊。目前圖像壓縮技術(shù)主要采用余弦變換（DCT），小波變換（Wavelet）和子帶編碼等技術(shù)，其中余弦變換具有快速算法，易于用軟硬件實(shí)現(xiàn)，且壓縮性能接近統(tǒng)計(jì)最佳，目前被廣泛采用，這也是壓縮引擎采用的算法。余弦變換用于數(shù)字圖像壓縮編碼時(shí)，一般采用二維變換，先將整幅圖像分成8×8 或16×16 宏塊，以宏塊為單位進(jìn)行二維變換，再對每一宏塊的變換域系數(shù)用Zig － Zag 方式進(jìn)行Huffman 變長編碼或算術(shù)編碼。在圖像接收端作相反的處理，即先恢復(fù)各宏塊的變換域系數(shù)，再經(jīng)余弦反變換即可恢復(fù)圖像數(shù)據(jù)，其解碼原理和主要步驟如圖4 所示。

該模塊是提高實(shí)時(shí)性的關(guān)鍵所在，為提高實(shí)時(shí)性，我們對代碼進(jìn)行了有效的優(yōu)化，主要措施有：針對Xscale微處理器的特點(diǎn)，合理安排程序流程，盡量做到并行處理，提高程序運(yùn)行效率；采用適合整數(shù)運(yùn)算的快速反余弦變換算法，變換中只用加法和移位，減少了乘法運(yùn)算量，提高了運(yùn)算效率；采用基于查表的快速Huffman 解碼算法，以減少運(yùn)算量，提高計(jì)算速度。通過這些措施既減少了內(nèi)存的開銷，也加快了解碼的速度，取得了滿意的效果。

3.2.4 視頻應(yīng)用模塊

視頻應(yīng)用模塊包括兩部分：本地應(yīng)用子模塊完成視頻圖像的實(shí)時(shí)顯示，本地用戶控制和圖像的存儲等功能；網(wǎng)絡(luò)傳輸子模塊完成基于RTP 的壓縮后的視頻流數(shù)據(jù)傳輸，遠(yuǎn)程控制等功能。借助于Linux 操作系統(tǒng)對多線程機(jī)制的良好支持，主線程專門負(fù)責(zé)消息的響應(yīng)，使程序能夠即時(shí)響應(yīng)用戶通過或鍵盤輸入的命令或事件，輔助線程用于完成圖像的實(shí)時(shí)顯示、存儲和網(wǎng)絡(luò)傳輸?shù)缺容^費(fèi)時(shí)的工作，這樣就不至于影響主線程的運(yùn)行，保證在做圖像解碼顯示和數(shù)據(jù)傳輸?shù)耐瑫r(shí)，能夠即時(shí)響應(yīng)用戶的輸入。不同的線程完成不同的任務(wù)，提高了程序的模塊化，便于維護(hù)和擴(kuò)展，充分利用了系統(tǒng)資源，有利于提高應(yīng)用程序的實(shí)時(shí)性。由于對視頻輸出設(shè)備，RGB空間格式更加直接高效，而解碼?？斓妮敵鰹閅UV顏色空間子格式，所以在視頻圖像的回顯之前必須進(jìn)行顏色空間的轉(zhuǎn)換。該模塊圖形界面的實(shí)現(xiàn)是通過調(diào)用MiniGUI 提供的API 函數(shù)來實(shí)現(xiàn)的，MiniGUI 提供了比較豐富的類Win32API 函數(shù)，給我們開發(fā)圖形界面帶來了很大的方便。

4 視頻模塊性能及測試效果

視頻模塊經(jīng)過終端測試，性能結(jié)果如表1 所示。通過結(jié)果可以看出，采集的經(jīng)過壓縮的視頻圖像幀速和經(jīng)過網(wǎng)絡(luò)傳輸后基于PC顯示的幀速都達(dá)到了理想水平，但視頻圖像在終端上顯示時(shí)，由于嵌入式系統(tǒng)處理能力較PC 機(jī)弱，解碼模塊和顯示模塊雖然經(jīng)過了優(yōu)化，但仍然占有一定的時(shí)間，使速度下降了很多。但該速度相對于嵌入式系統(tǒng)來說，也達(dá)到了實(shí)用的地步，并且不影響終端基于網(wǎng)絡(luò)的視頻應(yīng)用，隨著嵌入式微處理器處理能力的逐漸增強(qiáng)，這個(gè)問題也一定能得到很好的解決。比如，集成英特爾無線MMX 技術(shù)的處理速度更快的英特爾PXA27x 處理器家族新增了一系列新技術(shù)以提供額外的性能來支持高級視頻。

終端視頻模塊采集的圖像經(jīng)過壓縮、解壓縮后具有較高的質(zhì)量，基于PC 和終端顯示并未見明顯區(qū)別，圖像效果及用戶界面窗口如圖5 所示。

5 結(jié)論

本文針對基于 Xscale 和嵌入式Linux 的多媒體終端對視頻應(yīng)用的需求，從實(shí)時(shí)性、功耗和體積等著手，提供了一種多媒體終端圖像實(shí)時(shí)連續(xù)采集、顯示管理和網(wǎng)絡(luò)傳輸?shù)姆桨?，并且在?shí)際中得到了驗(yàn)證。由于采用了模塊化設(shè)計(jì)和設(shè)計(jì)的靈活性，只需稍加修改就還可以很容易的移植到別的嵌入式系統(tǒng)多媒體應(yīng)用中。我們可以在該終端平臺上方便地進(jìn)行一些基于視頻模塊的網(wǎng)絡(luò)應(yīng)用開發(fā)，我們認(rèn)為有價(jià)值的進(jìn)一步開發(fā)與研究方向包括： 作為嵌入式視頻網(wǎng)絡(luò)接入終端滿足不同方面的需要，例如遠(yuǎn)程數(shù)字, 交互式醫(yī)療，交互式可視多媒體遠(yuǎn)程教學(xué)、網(wǎng)絡(luò)電臺、視頻點(diǎn)播等。較PC機(jī)實(shí)現(xiàn)的系統(tǒng)有具有體積小、成本低和穩(wěn)定性高的特點(diǎn)，開發(fā)具有自主知識產(chǎn)權(quán)的手持式多媒體視頻網(wǎng)絡(luò)終端系統(tǒng)。當(dāng)今世界已經(jīng)進(jìn)入了 時(shí)代, 嵌入式系統(tǒng)接入 已成為網(wǎng)絡(luò)接入重要的基礎(chǔ)信息設(shè)施。因此, 具有視頻模塊的嵌入式系統(tǒng)在交互式多媒體、嵌入式系統(tǒng)、消費(fèi)電子產(chǎn)品等領(lǐng)域具有很強(qiáng)的應(yīng)用背景和市場前景。