基于FPGA的多路圖像采集系統(tǒng)的軟件設(shè)計

摘要：分析了現(xiàn)有的視頻采集方案的研究現(xiàn)狀，對如何采用CCD攝像頭采集多通道、高分辨率、高質(zhì)量的圖像以及基于FPGA的嵌入式圖像采集系統(tǒng)的實(shí)現(xiàn)方法做了研究。與傳統(tǒng)圖像采集系統(tǒng)相比，該系統(tǒng)主要利用四片視頻解碼芯片SAA7113H和兩片F(xiàn)PGA完成對四路圖像的同時采集、存儲和顯示，能根據(jù)FPGA里UART模塊接收到的指令切換一路圖像在LCD或是VGA上全屏顯示。實(shí)現(xiàn)了對兩個FPGA的級聯(lián)配置，針對視頻解碼芯片ADV7181B，實(shí)現(xiàn)了I2C總線配置、ITU656解碼以及數(shù)據(jù)格式的轉(zhuǎn)換。并根據(jù)多次實(shí)驗，時最終顯示圖像的抖動現(xiàn)象作了分析和提出解決方法。結(jié)果證明，該系統(tǒng)具有低成本、高可靠、靈活性好等特點(diǎn)。
關(guān)鍵詞：SAA7113H；FPGA；ITU565；圖像采集

    工業(yè)現(xiàn)場因為環(huán)境復(fù)雜，實(shí)時性要求高，常常需要對一處或多處重要位置同時進(jìn)行監(jiān)控，且能夠在需要時切換其中一幅畫面全屏顯示。這就要求設(shè)計一種實(shí)時視頻監(jiān)控系統(tǒng)，既能夠滿足工業(yè)現(xiàn)場應(yīng)用的特殊環(huán)境，具有體積小、功耗低、可定制的特點(diǎn)，又能夠?qū)Χ帱c(diǎn)進(jìn)行同時采集和同屏顯示以及對其中的一路進(jìn)行切換。
    國內(nèi)現(xiàn)有的視頻監(jiān)控方案一般是采用CCD攝像頭+視頻解碼芯片(如SAA7113H／ADV7181B)+FPGA／CPLD+DSP的模式實(shí)現(xiàn)，其中視頻解碼芯片用來對CCD攝像頭采集的模擬信號進(jìn)行AD轉(zhuǎn)換，F(xiàn)PGA／CPLD對數(shù)據(jù)采集進(jìn)行控制，DSP最終對數(shù)據(jù)進(jìn)行處理。這種方法開發(fā)周期長，成本高，且可更改性差。
    本文介紹的系統(tǒng)主要由兩片Altera公司的CycloneⅡ系列的EP2C8Q20818和飛利浦公司的視頻解碼芯片SAA7113H以及外存儲器件SRAM等組成。兩片F(xiàn)PGA分別完成前端圖像的采集和后端數(shù)據(jù)的處理，視頻解碼芯片完成模擬信號向數(shù)據(jù)信號的轉(zhuǎn)換，存儲器件在FPGA的控制下起到數(shù)據(jù)緩存作用。

1 系統(tǒng)描述
    系統(tǒng)主要分為采集模塊、解碼模塊、數(shù)據(jù)格式轉(zhuǎn)換模塊、存儲模塊、UART模塊和LCD／VGA顯示模塊，如下圖1所示。四片視頻解碼芯片在FPGA1的控制下通過I2C總線完成配置和初始化過程，輸出8位與CCIR656兼容的YCrCb 4：2：2格式的視頻數(shù)據(jù)，同時還包括行同步HS、場同步VS和奇偶場RTS0等信號。由于顯示終端支持的是標(biāo)準(zhǔn)的RGB格式的數(shù)據(jù)，所以要對視頻解碼芯片輸出的YCrCb 4：2：2格式數(shù)據(jù)進(jìn)行轉(zhuǎn)換。經(jīng)轉(zhuǎn)換所得的RGB數(shù)據(jù)在FPGA2的控制下，配合相應(yīng)的時序信號，截取要顯示的有效的640x480個像素，乒乓存入兩個SRAM中，并最終在：LCD ／VGA顯示模塊的控制下將數(shù)據(jù)顯示在屏幕上。UART通訊模塊集成在FPGA里，通過PC機(jī)的串口發(fā)送相應(yīng)的控制命令，F(xiàn)PGA接收后切換相應(yīng)通道的畫面。

2 系統(tǒng)軟件結(jié)構(gòu)
    系統(tǒng)軟件主要由采集模塊、解碼模塊、存儲模塊、顯示模塊和UART模塊組成，軟件結(jié)構(gòu)如圖2所示。

[!--empirenews.page--]
3 ITU656解碼
    ITU656解碼模塊根據(jù)ITU656標(biāo)準(zhǔn)將4：2：2的數(shù)據(jù)流解碼成ITU656標(biāo)準(zhǔn)視頻流。ITU656并行接口除了傳輸4：2：2的YCbCr視頻流外，還有行、場同步所用的控制信號。PAL制式的圖像一幀有625行，每秒掃描25幀；每行數(shù)據(jù)由1128字節(jié)的數(shù)據(jù)塊組成。其中，PAL制式23～311行是偶數(shù)場視頻數(shù)據(jù)，312～552行是奇數(shù)場視頻數(shù)據(jù)，其余為垂直控制信號。
    圖3為ITU656每行的數(shù)據(jù)結(jié)構(gòu)。每行數(shù)據(jù)包含水平控制信號和YCbCr視頻數(shù)據(jù)信號。視頻數(shù)據(jù)字是以27兆字／秒的速率傳送的，其順序是：Cb，Y，Cr，Y，Cb，Y，Cr，…其中，Cb，Y．Cr這3個字指的是同址的亮度和色差信號取樣，后面的Y字對應(yīng)于下一個亮度取樣。每行開始的288字節(jié)為行控制信號，開始的4字節(jié)為EAV信號(有效視頻結(jié)束)，緊接著280個固定填充數(shù)據(jù)，最后是4字節(jié)的SAV信號(有效視頻起始)。

    SAV和EAV信號有3字節(jié)的前導(dǎo)：FF、FF、00；最后1字節(jié)XY表示該行位于整個數(shù)據(jù)幀的位置及如何區(qū)分SAV、EAV。在每個時鐘的上升沿讀取從解碼芯片傳來的8位數(shù)據(jù)。當(dāng)檢測到一行數(shù)據(jù)的開始標(biāo)志FF0000XY時，檢測到SAV信號或EAV信號，提取H、F、V信號。然后發(fā)出開始命令，同時開啟行列計數(shù)器，開始對接下來的圖像數(shù)據(jù)進(jìn)行解碼，根據(jù)每個8位數(shù)據(jù)自身帶的信息，判斷該數(shù)據(jù)為Y，Cr還是Cb，從而得到Y(jié)，Cr，Cb各分量的值。解碼流程如圖4所示。

4 幀存儲控制器與LCD／VGA顯示控制器的設(shè)計
4．1 數(shù)據(jù)格式的轉(zhuǎn)換
    根據(jù)前面第2節(jié)的介紹，從ITU656解碼模塊出來的數(shù)據(jù)為8位4：2：2的YUV空間圖像數(shù)據(jù)，而LCD／VGA顯示器只能接收RGB數(shù)據(jù)。因為Y-CrCb4：2：2格式不能直接轉(zhuǎn)換為RGB，所以需要先轉(zhuǎn)換為YCrCb4：4：4格式。
    我們知道解碼芯片得到的視頻數(shù)據(jù)是順序為Cb，Y，Cr，Y，Cb，Y，Cr，……的序列，存儲的時候?qū)⒁粋€Y與一個C(Cb或Cr)結(jié)合起來組成一個16位的數(shù)據(jù)。而當(dāng)數(shù)據(jù)被讀出來時就要將這些視頻數(shù)據(jù)轉(zhuǎn)換為每個像素占24位(Y、Cb、Cr各占8位)的4：4：4的數(shù)據(jù)流。4：2：2到4：4：4的轉(zhuǎn)換采用最簡單的插值算法，在采樣的時候，每隔一個像素才采一次色度值(Cb和Cr)。在轉(zhuǎn)化時，直接將前一個有色度信息的像素點(diǎn)
的Cr以及Cb的值直接賦給后一個像素的Cr和Cb，這樣就能得到4：4：4的像素數(shù)據(jù)，每個像素占用24位位寬。
4．2 幀存儲控制器
   作為系統(tǒng)的重要組成部分，幀存儲控制器主要用來進(jìn)行有效數(shù)據(jù)的緩存。視頻數(shù)據(jù)在FPGA1的控制下乒乓寫入兩片SRAM。乒乓技術(shù)應(yīng)用的關(guān)鍵在于乒乓切換信號frame的產(chǎn)生，本系統(tǒng)中根據(jù)視頻解碼芯片的奇偶場信號RTS0來產(chǎn)生幀切換frame信號，也就是一個RTS0周期切換一次。一個RTS0周期由一個奇場和一個偶場組成，是一副完整的畫面。當(dāng)frame為1是，F(xiàn)PGA通過計數(shù)器的計數(shù)截取最終顯示所需要的有效的像素點(diǎn)信息按照SRAM的控制時序?qū)懭隨RAM1，同樣當(dāng)frame為0時，將對應(yīng)的像素信息寫入SRAM2，如圖5所示。

    系統(tǒng)加電的同時，4片視頻解碼芯片同時工作，為了保證數(shù)據(jù)采集的準(zhǔn)確性和顯示的同步性，系統(tǒng)內(nèi)生成一個八倍于像素時鐘的寫時鐘信號write_clk，這樣，在一個像素時鐘周期，寫時鐘信號已經(jīng)過了八個周期，而每兩個周期分別完成一路圖像數(shù)據(jù)的寫過程。
    由于SRAM是一維存儲空間，一個地址對應(yīng)一個數(shù)據(jù)。所以在寫入數(shù)據(jù)時將SRAM的地址空間劃分為4段，每一段用來存儲一路圖像數(shù)據(jù)。[!--empirenews.page--]
    用程序?qū)崿F(xiàn)比較簡單，設(shè)置一個地址寄存器sram_addr_reg，將它賦給SRAM的地址控制信號sram_addr。然后在對每一路圖像寫入時，將對應(yīng)的SRAM的起始地址加上一個固定的基數(shù)。如：

    這樣就保證了SRAM中對應(yīng)地址的數(shù)據(jù)和屏幕上顯示位置的一一對應(yīng)關(guān)系，在讀程序中，只需要按照順序讀SRAM即可，如圖6所示。

4．3 LCD／VGA顯示控制器
    本模塊主要是用FPGA來產(chǎn)生LCD／VGA顯示時所需要的時鐘信號CLK(像素時鐘信號)、VSYNC(幀同步信號)、HSYNC(行同步信號)和使能信號(VDEN)，并在相應(yīng)控制時序的作用下，依次將顯示緩存即SRAM中的數(shù)據(jù)依次讀出，輸出到LCD上的過程。
    LCD顯示所需的主要時序信號的關(guān)系如圖7所示。

    在系統(tǒng)中，LCD屏幕分辨率為640x480，像素時鐘CLK為25MHz，由于FPGA的主時鐘輸入選用了20 MHz的有源時鐘，那么就要求利用Cyclone芯片的內(nèi)部邏輯資源來實(shí)現(xiàn)時鐘倍頻，以產(chǎn)生所需要的CLK(25 MHz)、用Verilog語言編寫參數(shù)化的時序生成模塊，產(chǎn)生HSYNC(32 kHz)及VHY-NC(60 Hz)時鐘信號，如圖8所示。

    VGA顯示原理與LCD相似，除了在硬件上正確連接ADV7125芯片電路外根據(jù)需要的分辨率來生成相應(yīng)時鐘信號即可。

5 圖像抖動的分析與解決
    在系統(tǒng)完成后軟硬件聯(lián)調(diào)時，出現(xiàn)畫面抖動現(xiàn)象，其中以RTSO為基準(zhǔn)而產(chǎn)生乒乓切換的那一路圖像穩(wěn)定，其他三路都出現(xiàn)不同程度的抖動現(xiàn)象。對此我們做了深入的分析和實(shí)驗，分析整個系統(tǒng)的結(jié)構(gòu)可知，系統(tǒng)在多個時鐘控制下共同工作，也就是所說的典型的異步系統(tǒng)。我們知道，數(shù)據(jù)在異步系統(tǒng)傳輸時對時鐘要求非常嚴(yán)格，稍微的一點(diǎn)時鐘偏差都會帶來對有效像素截取的偏差，最終影響圖像的顯示質(zhì)量。
    解決的辦法有兩個，一是加入緩沖機(jī)制，利用FIFO對數(shù)據(jù)存儲的特性來實(shí)現(xiàn)數(shù)據(jù)在異步時鐘之間的無縫傳輸；二是同步時鐘，利用狀態(tài)機(jī)等方法使得異步系統(tǒng)的時鐘能夠盡可能同步。采用第二種方法對系統(tǒng)進(jìn)行改進(jìn)，首先系統(tǒng)中所有的分頻、倍頻盡量使用Quartus 6．0自帶的PLL產(chǎn)生，并且使用專用時鐘引腳進(jìn)行時鐘輸出；其次把寫時鐘write_clk降為54M，也就是每隔一個像素采集一次。最終，四路圖像都能穩(wěn)定顯示。

6 結(jié)束語
    本文實(shí)現(xiàn)了一種結(jié)合Altera公司生產(chǎn)的CycloneII系列FPGA與視頻解碼芯片ADV7181B的嵌入式圖像采集系統(tǒng)。系統(tǒng)具有低功耗、低成本、高可靠和靈活性好等特點(diǎn)?；贔PGA的多路圖像采集系統(tǒng)采用兩片F(xiàn)PGA作為主控芯片，完成四路視頻畫面的同時顯示和切換，實(shí)現(xiàn)兩個FPGA的級聯(lián)配置，采用Verilog語言編寫的控制邏輯解決了畫面抖動問題。系統(tǒng)軟件集成度高，硬件結(jié)構(gòu)清晰簡單，即可滿足一般監(jiān)控場合對多處位置進(jìn)行實(shí)時監(jiān)控的需求，又能為功能更復(fù)雜的圖像處理、壓縮、傳輸系統(tǒng)提供前端圖像數(shù)據(jù)采集。