基于V4L2視頻采集緩存機(jī)制應(yīng)用與實(shí)現(xiàn)
摘要:V4L是Linux針對(duì)視頻設(shè)備的應(yīng)用程序接口,V4L2為其升級(jí)版本,它修復(fù)了第一版的很多設(shè)計(jì)缺陷。然而它提供的常規(guī)讀寫函數(shù)并不能滿足大數(shù)據(jù)量的高速傳輸,所以將緩存技術(shù)引入到視頻采集領(lǐng)域可以提高系統(tǒng)的吞吐量。提出了一種雙幀內(nèi)存映射視頻采集機(jī)制,由于不需要做數(shù)據(jù)拷貝動(dòng)作,減少了讀/寫時(shí)限,因而可以提高視頻采集性能。實(shí)驗(yàn)結(jié)果表明,采用雙幀內(nèi)存映射機(jī)制在視頻采集時(shí)速度快,效率高,達(dá)到了預(yù)期的實(shí)驗(yàn)效果。
關(guān)鍵詞:V4L2;Linux;視頻采集;內(nèi)存映射
0 引言
V4L(video for linux)是由Alan Cox開發(fā)的針對(duì)視頻設(shè)備的應(yīng)用程序接口(API),開始出現(xiàn)是在Linux 2.1.x版本內(nèi)核中,可以實(shí)現(xiàn)圖像采集、AM/FM廣播和圖像編解碼等功能。然而,由于它在擴(kuò)展性和靈活性上的缺陷,漸漸被Bill Dirks設(shè)計(jì)出的V4L的升級(jí)版本V4L2所替代,V4L2開始是在Linux 2.5.x版本內(nèi)核中集成的,在對(duì)視頻設(shè)備數(shù)據(jù)的讀/寫中,應(yīng)用程序可以通過(guò)read/write方法或者內(nèi)存映射來(lái)獲得位于內(nèi)核空間的圖像數(shù)據(jù)。 read/write方法是將數(shù)據(jù)在內(nèi)核空間和用戶空間之間進(jìn)行拷貝,而內(nèi)存映射使應(yīng)用程序可以直接訪問(wèn)設(shè)備內(nèi)存,減少了從內(nèi)核態(tài)到用戶態(tài)的數(shù)據(jù)拷貝,因而可以顯著提高系統(tǒng)的吞吐量,下面討論視頻采集中緩存機(jī)制的應(yīng)用和實(shí)現(xiàn)。
1 V4L2的視頻采集框架
V4L2采用了分層架構(gòu),應(yīng)用程序接口為上層,而下層則是視頻設(shè)備的驅(qū)動(dòng)程序,一般研究領(lǐng)域都是編寫上層的應(yīng)用程序,通過(guò)編程接口來(lái)控制視頻設(shè)備完成相應(yīng)的操作和功能。利用V4L2開發(fā)的視頻采集程序具有設(shè)備無(wú)關(guān)性,任何支持V4L2的視頻采集設(shè)備都可以移植此類程序,因而也提高了視頻采集程序的可移植性。
當(dāng)視頻設(shè)備連接到主機(jī)后,驅(qū)動(dòng)程序會(huì)首先注冊(cè)一個(gè)主設(shè)備號(hào)為81的字符設(shè)備,它是硬件惟一的身份標(biāo)識(shí)。驅(qū)動(dòng)程序利用主設(shè)備號(hào)來(lái)識(shí)別硬件,而系統(tǒng)內(nèi)核則是利用主設(shè)備號(hào)讓設(shè)備與對(duì)應(yīng)的驅(qū)動(dòng)程序相結(jié)合,同時(shí)加載驅(qū)動(dòng)程序的成員函數(shù)、次設(shè)備號(hào)以及其他相關(guān)信息,使設(shè)備可以正常工作。使用表1中的函數(shù)可以訪問(wèn) V4L2設(shè)備,也可以在應(yīng)用程序中直接調(diào)用。具體功能如表1所示。
其中,ioctl函數(shù)的功能非常強(qiáng)大,它可以管理設(shè)備的I/O通道,設(shè)置視頻的制式和幀格式,還提供查詢當(dāng)前設(shè)備屬性的功能,主要的ioctl命令如表2所示。
這些函數(shù)原型一般定義在include/linux/videodev2.h或者videodev.h中。
視頻采集的具體過(guò)程描述如下:
(1)打開設(shè)備。通過(guò)open()函數(shù)打開設(shè)備文件,返回文件描述符。
(2)初始化設(shè)備。首先通過(guò)VIDIOC_QUERYCAP查詢?cè)O(shè)備屬性,判斷該設(shè)備是否為一個(gè)合法的視頻采集設(shè)備,并確定其支持的功能有哪些;然后通過(guò) VIDIOC_S_FMT設(shè)置圖像的格式,例如圖像的大小等;通過(guò)VIDIOC_REQBUFS和malloc()分別在內(nèi)核空間和用戶空間分配內(nèi)存緩沖區(qū);最后通過(guò)mmap()函數(shù)進(jìn)行內(nèi)存映射。
(3)圖像采集循環(huán)。首先通過(guò)VIDIOC_QBUF將空緩沖區(qū)移入待處理隊(duì)列,準(zhǔn)備接收?qǐng)D像數(shù)據(jù);然后通過(guò)VIDIOC_QBUF將滿緩沖區(qū)移出已處理隊(duì)列,進(jìn)行圖像的顯示和處理;最后通過(guò)VIDIOC_STREAMON和VIDIOC_STREAMOFF啟動(dòng)和停止采集。
(4)關(guān)閉設(shè)備。通過(guò)close()函數(shù)關(guān)閉設(shè)備文件。
2 雙幀緩存數(shù)據(jù)傳輸
在視頻采集中,首先在內(nèi)核空間建立2個(gè)圖像緩沖區(qū),不斷將采集到的圖像存放到緩沖區(qū)中。當(dāng)應(yīng)用程序需要圖像時(shí),驅(qū)動(dòng)程序并不做拷貝操作,而是建立內(nèi)核緩沖區(qū)到用戶空間的映射,也就是利用mmap()函數(shù),存取其返回的指針,相當(dāng)于存取內(nèi)核中的圖像緩沖區(qū)。由于不需要做額外的復(fù)制操作,效率大大提高了,圖像采集流程如圖1所示。
具體說(shuō)明如下:
(1)程序首先使用VIDIOC_REQBUFS向驅(qū)動(dòng)程序請(qǐng)求圖像緩沖區(qū),v412_requestbuffers結(jié)構(gòu)體包含了所要求緩沖區(qū)的類型及數(shù)量,但驅(qū)動(dòng)程序有權(quán)決定最后返回的數(shù)量,因此程序仍需要使用系統(tǒng)返回的緩沖區(qū)數(shù)量,在這里程序返回2個(gè)緩沖區(qū)。
(2)由于緩沖區(qū)數(shù)量有2個(gè),調(diào)用2次mmap()建立起用戶空間和內(nèi)核空間緩沖區(qū)的對(duì)應(yīng)關(guān)系,然后讀取mmap()所返回的指針就相當(dāng)于讀取圖像緩沖區(qū)。
(3)此時(shí)驅(qū)動(dòng)程序仍然不能對(duì)圖像緩沖區(qū)做讀取,調(diào)用2次VIDIOC_QBUF ioctl將緩沖區(qū)加入到驅(qū)動(dòng)程序內(nèi)部的采集序列,之后采集的圖像就會(huì)被儲(chǔ)存到這些緩沖區(qū)內(nèi)。
(4)調(diào)用VIDIOC_STREAM ioctl后,驅(qū)動(dòng)程序開始采集圖像,并將圖像放置到緩沖區(qū)內(nèi)。
(5)雖然緩沖區(qū)內(nèi)已經(jīng)存放有圖像了,但直接去讀取某個(gè)緩沖區(qū)還是需要非常小心的,因?yàn)榫彌_區(qū)仍然在驅(qū)動(dòng)程序的圖像采集序列中,有可能讀取到一半,驅(qū)動(dòng)程序又使用該緩沖區(qū)儲(chǔ)存新的圖像,而圖1中的(5)是最后調(diào)用VIDIOC_STREAMOFF,以停止圖像采集,此時(shí)驅(qū)動(dòng)程序會(huì)自動(dòng)將所有緩沖區(qū)從圖像采集序列中移除,所以不需要手動(dòng)調(diào)用VIDIOC_DQBUF,接著使用munmap()清除所有的存儲(chǔ)區(qū)映射導(dǎo)致圖像前后不一致。因此要在讀取緩沖區(qū)前,先調(diào)用VIDIOC_DQBUG ioctl,通知驅(qū)動(dòng)程序不要使用此緩沖區(qū),在這個(gè)階段中,通常是以如圖2所示的順序來(lái)讀取每個(gè)緩沖區(qū)的。
3 實(shí)驗(yàn)結(jié)果
當(dāng)視頻采集程序編制完成后需要以模塊形式插入內(nèi)核,再通過(guò)make modules對(duì)模塊進(jìn)行編譯,未采用雙幀緩存技術(shù)的視頻采集幀速為6 f/s,應(yīng)用本實(shí)驗(yàn)的方法可以達(dá)到8.3 f/s,視頻采集結(jié)果截圖如圖3所示:
4 結(jié)語(yǔ)
視頻采集是目前遠(yuǎn)程教學(xué)、遠(yuǎn)程診斷、視頻監(jiān)控和視頻會(huì)議等技術(shù)的基礎(chǔ)。在實(shí)時(shí)性要求越來(lái)越高,工作性能越來(lái)越突出的今天,采用雙幀緩存映射機(jī)制可以在數(shù)據(jù)采集方面實(shí)現(xiàn)高速化,滿足一般性應(yīng)用要求,但是,使用內(nèi)存映射現(xiàn)在還存在2個(gè)限制:一是面向流的設(shè)備不能使用內(nèi)存映射,如串口;二是映射區(qū)域的起始地址和大小都必須是PAGE_SIZE的整數(shù)倍,即內(nèi)存映射是以PAGE_SIZE為單位進(jìn)行操作的。這些都是后期研究中需要解決的問(wèn)題。