嵌入式系統(tǒng)視頻圖像捕獲研究

本文論述了嵌入式系統(tǒng)相關(guān)理論、嵌入式Linux的基本概念，主要闡述了采用嵌入式Linux進(jìn)行視頻圖像數(shù)據(jù)的捕獲、存儲(chǔ)、顯示等。采用的關(guān)鍵技術(shù)包括 V4L、framebuffer、數(shù)字圖像格式變換等，提出了圖像數(shù)據(jù)格式的變換方法。同時(shí)闡述了具體的實(shí)現(xiàn)方法。

       1 嵌入式系統(tǒng)簡(jiǎn)介

      嵌入式系統(tǒng)（Embedded System）是指以應(yīng)用為中心、以計(jì)算機(jī)技術(shù)為基礎(chǔ)、軟件硬件可裁剪、適應(yīng)應(yīng)用系統(tǒng)對(duì)功能、可靠性、成本、體積、功耗嚴(yán)格要求的專用計(jì)算機(jī)系統(tǒng)。根據(jù)IEEE（國(guó)際電氣和電子工程師協(xié)會(huì)）的定義，嵌入式系統(tǒng)是“控制、監(jiān)視或者輔助設(shè)備、機(jī)器和車間運(yùn)行的裝置”，這個(gè)定義主要是從應(yīng)用的角度進(jìn)行定義的。[1]嵌入式系統(tǒng)的操作系統(tǒng)和功能軟件集成于計(jì)算機(jī)硬件系統(tǒng)之中，也就是軟件與硬件的一體化。嵌入式系統(tǒng)目的性或針對(duì)性很強(qiáng)，一般要求較高的實(shí)時(shí)性、穩(wěn)定性。

      2  嵌入式Linux操作系統(tǒng)

      嵌入式Linux是Linux操作系統(tǒng)的一個(gè)分支。主要是對(duì)通常的Linux進(jìn)行裁減。最關(guān)鍵的是要進(jìn)行實(shí)時(shí)化處理。在實(shí)時(shí)性要求不是太高的環(huán)境下采用Linux具有很多優(yōu)勢(shì)。使用嵌入式Linux技術(shù)開發(fā)嵌入式設(shè)備的最大方便是使開發(fā)工作從硬件與匯編程序轉(zhuǎn)移到應(yīng)用軟件上來。[2]嵌入式Linux系統(tǒng)架構(gòu)包括三層：應(yīng)用程序、系統(tǒng)共享庫和Linux內(nèi)核?，F(xiàn)有各種開源的Linux版本，包括支持沒有內(nèi)存管理單元的CPU的uCLinux、實(shí)時(shí)性非常好的RTAI、QLinux等。[3]本文所采用的開發(fā)的系統(tǒng)是進(jìn)行圖像的實(shí)時(shí)捕獲。由于實(shí)時(shí)性要求不高，同時(shí)考慮到Linux下使用V4L開發(fā)視頻程序具有很大的優(yōu)越性，所以采用嵌入式Linux作為開發(fā)環(huán)境。芯片主要采用三星公司生產(chǎn)的ARM2410, 開發(fā)板采用北京博創(chuàng)公司的板卡。

      3  采用V4L進(jìn)行數(shù)據(jù)采集

      3.1 采用V4L進(jìn)行圖像數(shù)據(jù)采集

       V4L是Linux下提供的一套設(shè)備驅(qū)動(dòng)程序文件API，用于開發(fā)視頻（Video）、音頻（Audio）等領(lǐng)域的應(yīng)用程序。由于在Linux下設(shè)備都作為一個(gè)文件進(jìn)行處理。所以可以通過打開相應(yīng)的設(shè)備文件來獲取設(shè)備的信息。由于本文是進(jìn)行視頻程序的開發(fā)，所以僅講述有關(guān)視頻相關(guān)的部分。

      視頻設(shè)備文件一般情況下在/dev/videox。其中x可以為0~63之間的整數(shù)。一般情況下為/deev/video0。當(dāng)在開發(fā)板上通過USB接口將攝像頭接入后。在程序中對(duì)文件video0進(jìn)行讀的操作就是對(duì)攝像頭的操作。

      在使用V4L之前首先需要將頭文件videodev.h引入，如<linux/videodev.h>。相應(yīng)的API文檔在/usr /src/linux-2.4/Documentation/video4linux/API.html下。同時(shí)在為了同相關(guān)的設(shè)備進(jìn)行通信，需要一些結(jié)構(gòu)體、變量和函數(shù)，所以需要包含其他的相關(guān)文件。如<sys/types.h>、

      <sys/stat.h>、 <sys/ioctl.h>、 <sys/mman.h>、 <linux/videodev.h>、 <fcntl.h>、 <unistd.h>等。攝像頭、V4L、設(shè)備驅(qū)動(dòng)程序、嵌入式Linux操作系統(tǒng)的關(guān)系用圖1表示如下。

                                       圖1

        具體的圖像數(shù)據(jù)的捕獲過程為：打開設(shè)備文件、查詢和確認(rèn)設(shè)備性能、設(shè)置捕獲的圖像的寬和高、設(shè)置色深、建立內(nèi)存映射（后文闡述）、讀取圖像數(shù)據(jù)、關(guān)閉設(shè)備。[4]

        具體的這個(gè)過程由于篇幅關(guān)系本文將不做具體闡述，讀者可以查閱本文的參考文獻(xiàn)3。在上述的過程中主要考慮的問題是內(nèi)存的映射問題。為了讀取數(shù)據(jù)首先需要將顯示設(shè)備的地址映射到系統(tǒng)地址上來，這需要調(diào)用函數(shù)mmap（）。該函數(shù)返回的地址就是存放圖像數(shù)據(jù)的地址。每一幀圖像都偏移固定的長(zhǎng)度。而攝像頭取得圖像會(huì)包含若干幀。這樣通過周而復(fù)始的進(jìn)行就可以將圖像數(shù)據(jù)捕獲下來。具體過程和涉及到的函數(shù)如下所示:

        打開設(shè)備文件: int  device = open ("/dev/v4l/video0", O_RDWR);

        內(nèi)存映射：char* memoryMap = (char*)mmap (0, memoryBuffer.size, PROT_READ | PROT_WRITE, MAP_SHARED, device, 0);

        圖像數(shù)據(jù)memoryMap + memoryBuffer.offsets[bufferIndex]
      

                          圖2[!--empirenews.page--]3.2圖像格式的轉(zhuǎn)換。

       通過上文所述取得圖像數(shù)據(jù)后，實(shí)際就是一塊地址。這時(shí)就可以進(jìn)行各種圖像處理或圖像識(shí)別。問題的關(guān)鍵是圖像數(shù)據(jù)是如何放置的。一般情況下，在計(jì)算機(jī)中一個(gè)像素點(diǎn)是由R、G、B三種顏色表示的。當(dāng)然還存在其它的模式如PAL等。但大多數(shù)為RGB模式。即使是RGB模式也存在很多種情況，如每一個(gè)像素由8個(gè)bit組成，這時(shí)R、G、B三種顏色的位數(shù)分別3、3、2。如果每一個(gè)像素由12個(gè)bit組成，則R、G、B三種顏色的位數(shù)分別4、4、4。如果每一個(gè)像素由16個(gè)bit組成，則R、G、B三種顏色的位數(shù)存在兩種情況分別5、5、5，最高位舍棄，另一種情況為5、6、5。最容易處理、同時(shí)也是最常見的是24個(gè)bit組成的，這時(shí)R、G、B三種顏色的位數(shù)分別8、8、8。

       在各種圖像處理的程序中往往需要在兩種格式之間轉(zhuǎn)換。由于在筆者所采用的設(shè)備中，采集到的圖像為24位，而顯示設(shè)備為12位，這就需要在兩種格式之間轉(zhuǎn)換。至于怎樣將圖像數(shù)據(jù)顯示到屏幕上在后文中闡述，下面將主要闡述如何在24位和12位之間轉(zhuǎn)換。整個(gè)過程如圖3所示。          

         圖3

       首先需要明確計(jì)算機(jī)中處理的數(shù)據(jù)是8位為基本單位的。所以，一個(gè)像素12位的圖象格式可以通過兩個(gè)像素24位為基本單位進(jìn)行描述。其次，應(yīng)該明確的是在從 8位數(shù)據(jù)到4位數(shù)據(jù)的轉(zhuǎn)換中取得8位數(shù)據(jù)中的高4位，frame[index*3]&0xF0)；然后再取得下一個(gè)8位的高4位；左移4位和前面的數(shù)據(jù)取并，frame[index*3]&0xF0)|((frame[index*3+1]&0xF0)>>4。實(shí)現(xiàn)的代碼如下：

*(fbp) = (frame[index*3]&0xF0)|((frame[index*3+1]&0xF0)>>4);

                     *(fbp +1) = (frame[index*3+2]&0xF0)|(frame[(index+1)*3]&0xF0>>4);

            *(fbp+2) = (frame[(index+1)*3+1]&0xF0)|(frame[(index+1)*3+2]&0xF0>>4);

       在這段代碼中*(fbp)、*(fbp +1)、*(fbp+2)這三個(gè)8位實(shí)際上兩個(gè)像素的圖像數(shù)據(jù)。這就實(shí)現(xiàn)了24位的圖像數(shù)據(jù)到12位的圖像數(shù)據(jù)的轉(zhuǎn)換。

       4應(yīng)用framebuffer進(jìn)行圖像的顯示

       為了將程序中圖像數(shù)據(jù)顯示在設(shè)備的液晶屏幕上,需要讀出現(xiàn)實(shí)設(shè)備的地址并將其映射到系統(tǒng)內(nèi)存空間上，然后再將圖像數(shù)據(jù)寫到映射后的地址空間上。[5]

        首先需要計(jì)算出屏幕內(nèi)存空間的字節(jié)數(shù)，計(jì)算公式為：　

　　屏幕內(nèi)存空間的字節(jié)數(shù)＝像素的個(gè)數(shù)╳每個(gè)像素占用的字節(jié)

其中像素的個(gè)數(shù)是行和列的乘積，而行和列的數(shù)值以及每個(gè)像素占用的字節(jié)數(shù)值可以通過函數(shù)ioctl（）取得或設(shè)置。下述代碼為打開framebuffer，讀取屏幕的可設(shè)置信息，并計(jì)算屏幕內(nèi)存空間的字節(jié)數(shù)的過程。

struct fb_var_screeninfo vinfo;

int FraBuf= open("/dev/0", O_RDWR);

ioctl(fbfd, FBIOGET_VSCREENINFO, &vinfo);

long int screensize = vinfo.xres * vinfo.yres* vinfo.bits_per_pixel;

       取得屏幕的大小后，將打開的設(shè)備FraBuf得到的內(nèi)存空間映射到系統(tǒng)中，如下所示，

char *fbp fbp = (char *)mmap(0, screensize, PROT_READ | PROT_WRITE, MAP_SHARED,fbfd, 0);

      然后將前文得到的數(shù)據(jù)賦值即可。上面的函數(shù)的具體意義，讀者可以參看相關(guān)技術(shù)文檔，限于篇幅本文沒有闡述。這個(gè)過程和前文所述的捕獲過程是相反的過程。[!--empirenews.page--]5簡(jiǎn)單字符的屏幕顯示技術(shù)

        在數(shù)字圖像處理過程中，為了將處理后結(jié)果或數(shù)字顯示出來，可以在屏幕上開個(gè)區(qū)域進(jìn)行顯示。如若字體較多需要字庫，如果僅僅是簡(jiǎn)單的數(shù)字可以采用像素描繪的方法。本文作者就是采用后者輸出了數(shù)字。如數(shù)字“１”的描繪程序如下：

x=160;

for ( y = 210; y < 230; y++ ) {

location = (x+vinfo.xoffset) * (vinfo.bits_per_pixel/8) +y+vinfo.yoffset) * finfo.line_length;

 　　　　*(fbp + location) = 10;

 　　　　*(fbp + location + 1) =10;

 　　　　*(fbp + location + 2) =10;

}

      其中x、y為屏幕的位置，而fbp就是前文打開的設(shè)備。

       6 結(jié)束語

       本文采用的設(shè)備是基于SAMSUNG公司的ARM9芯片S3C2410,由于篇幅的限制本文沒有具體闡述整個(gè)系統(tǒng)，集中闡述了視頻圖像數(shù)據(jù)的捕獲和顯示，在這一過程中存在許多細(xì)節(jié)問題，限于篇幅沒有闡述。