一種多路圖像采集系統(tǒng)的軟件設(shè)計(jì)

 工業(yè)現(xiàn)場因?yàn)榄h(huán)境復(fù)雜，實(shí)時(shí)性要求高，常常需要對一處或多處重要位置同時(shí)進(jìn)行監(jiān)控，且能夠在需要時(shí)切換其中一幅畫面全屏顯示。這就要求設(shè)計(jì)一種實(shí)時(shí)視頻監(jiān)控系統(tǒng)，既能夠滿足工業(yè)現(xiàn)場應(yīng)用的特殊環(huán)境，具有體積小、功耗低、可定制的特點(diǎn)，又能夠?qū)Χ帱c(diǎn)進(jìn)行同時(shí)采集和同屏顯示以及對其中的一路進(jìn)行切換。

　　國內(nèi)現(xiàn)有的視頻監(jiān)控方案一般是采用CCD攝像頭
攝像頭

　　攝像頭是一種輸入器件，是用來組成電腦或其他機(jī)器的視覺系統(tǒng)的重要部件。攝像頭如今已成為人們?nèi)粘贤ǎ曨l會議，安防監(jiān)控和遠(yuǎn)程醫(yī)療等活動(dòng)不可或缺的器材之一。 [全文]

+視頻解碼芯片（如SAA7113H／ADV7181B）+FPGA
FPGA
　　現(xiàn)場可編程邏輯門陣列（FPGA, Field Programmable Gate Array），是一個(gè)含有可編輯元件的半導(dǎo)體設(shè)備，可供使用者現(xiàn)場程式化的邏輯門陣列元件。FPGA是在PAL、GAL、CPLD等可編輯器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物。 [全文]

／CPLD+DSP
DSP
　　dsp是digital signal processor的簡稱，即數(shù)字信號處理器。它是用來完成實(shí)時(shí)信號處理的硬件平臺，能夠接受模擬信號將其轉(zhuǎn)換成二進(jìn)制的數(shù)字信號，并能進(jìn)行一定形式的編輯，還具有可編程性。由于強(qiáng)大的數(shù)據(jù)處理能力和快捷的運(yùn)行速度，dsp在信息科學(xué)領(lǐng)域發(fā)揮著越來越大的作用。 [全文]

的模式實(shí)現(xiàn)，其中視頻解碼芯片用來對CCD攝像頭采集的模擬信號進(jìn)行AD轉(zhuǎn)換，F(xiàn)PGA／CPLD對數(shù)據(jù)采集進(jìn)行控制，DSP最終對數(shù)據(jù)進(jìn)行處理。這種方法開發(fā)周期長，成本高，且可更改性差。

　　本文介紹的系統(tǒng)主要由兩片Altera公司的CycloneⅡ系列的EP2C8Q20818和飛利浦公司的視頻解碼芯片SAA7113H以及外存儲器
存儲器

　　存儲器是用來存儲程序和數(shù)據(jù)的部件，有了存儲器，計(jì)算機(jī)才有記憶功能，才能保證正常工作。它根據(jù)控制器指定的位置存進(jìn)和取出信息。 [全文]

件SRAM等組成。兩片F(xiàn)PGA分別完成前端圖像的采集和后端數(shù)據(jù)的處理，視頻解碼芯片完成模擬信號向數(shù)據(jù)信號的轉(zhuǎn)換，存儲器件在FPGA的控制下起到數(shù)據(jù)緩存作用。

　　1 系統(tǒng)描述

　　系統(tǒng)主要分為采集模塊、解碼模塊、數(shù)據(jù)格式轉(zhuǎn)換模塊、存儲模塊、UART模塊和LCD／VGA顯示模塊
顯示模塊

　　用于顯示數(shù)據(jù)的模塊。 [全文]

，如下圖1所示。四片視頻解碼芯片在FPGA1的控制下通過I2C總線
總線
　　總線是將信息以一個(gè)或多個(gè)源部件傳送到一個(gè)或多個(gè)目的部件的一組傳輸線。通俗的說，就是多個(gè)部件間的公共連線，用于在各個(gè)部件之間傳輸信息。人們常常以MHz表示的速度來描述總線頻率。 [全文]

完成配置和初始化過程，輸出8位與CCIR656兼容的YCrCb 4：2：2格式的視頻數(shù)據(jù)，同時(shí)還包括行同步HS、場同步VS和奇偶場RTS0等信號。由于顯示終端支持的是標(biāo)準(zhǔn)的RGB格式的數(shù)據(jù)，所以要對視頻解碼芯片輸出的YCrCb 4：2：2格式數(shù)據(jù)進(jìn)行轉(zhuǎn)換。經(jīng)轉(zhuǎn)換所得的RGB數(shù)據(jù)在FPGA2的控制下，配合相應(yīng)的時(shí)序信號，截取要顯示的有效的640x480個(gè)像素，乒乓存入兩個(gè)SRAM中，并最終在：LCD ／VGA顯示模塊的控制下將數(shù)據(jù)顯示在屏幕上。UART通訊模塊集成在FPGA里，通過PC機(jī)的串口
串口
　　串口是計(jì)算機(jī)上一種非常通用的設(shè)備通信協(xié)議，大多數(shù)計(jì)算機(jī)包含兩個(gè)基于RS232的串口。串口同時(shí)也是儀器儀表設(shè)備的通信協(xié)議，并可用于獲取遠(yuǎn)程采集設(shè)備的數(shù)據(jù)。 [全文]

發(fā)送相應(yīng)的控制命令，F(xiàn)PGA接收后切換相應(yīng)通道的畫面。

圖1 系統(tǒng)結(jié)構(gòu)圖

　　2 系統(tǒng)軟件結(jié)構(gòu)

　　系統(tǒng)軟件主要由采集模塊、解碼模塊、存儲模塊、顯示模塊和UART模塊組成，軟件結(jié)構(gòu)如圖2所示。

圖2 軟件結(jié)構(gòu)圖

　　3 ITU656解碼

　　ITU656解碼模塊根據(jù)ITU656標(biāo)準(zhǔn)將4：2：2的數(shù)據(jù)流解碼成ITU656標(biāo)準(zhǔn)視頻流。ITU656并行接口除了傳輸4：2：2的YCbCr視頻流外，還有行、場同步所用的控制信號。PAL制式的圖像一幀有625行，每秒掃描25幀；每行數(shù)據(jù)由1128字節(jié)的數(shù)據(jù)塊組成。其中，PAL制式23～311行是偶數(shù)場視頻數(shù)據(jù)，312～552行是奇數(shù)場視頻數(shù)據(jù)，其余為垂直控制信號。

　　圖3為ITU656每行的數(shù)據(jù)結(jié)構(gòu)。每行數(shù)據(jù)包含水平控制信號和YCbCr視頻數(shù)據(jù)信號。視頻數(shù)據(jù)字是以27兆字／秒的速率傳送的，其順序是：Cb，Y，Cr，Y，Cb，Y，Cr，…其中，Cb，Y.Cr這3個(gè)字指的是同址的亮度和色差信號取樣，后面的Y字對應(yīng)于下一個(gè)亮度取樣。每行開始的288字節(jié)為行控制信號，開始的4字節(jié)為EAV信號（有效視頻結(jié)束），緊接著280個(gè)固定填充數(shù)據(jù)，最后是4字節(jié)的SAV信號（有效視頻起始）。

圖3 ITU656每行的數(shù)據(jù)結(jié)構(gòu)

　　SAV和EAV信號有3字節(jié)的前導(dǎo)：FF、FF、00；最后1字節(jié)XY表示該行位于整個(gè)數(shù)據(jù)幀的位置及如何區(qū)分SAV、EAV。在每個(gè)時(shí)鐘的上升沿讀取從解碼芯片傳來的8位數(shù)據(jù)。當(dāng)檢測到一行數(shù)據(jù)的開始標(biāo)志FF0000XY時(shí)，檢測到SAV信號或EAV信號，提取H、F、V信號。然后發(fā)出開始命令，同時(shí)開啟行列計(jì)數(shù)器
計(jì)數(shù)器

　　計(jì)數(shù)器是一種具有多種測量功能、多種用途的電子計(jì)數(shù)器。它可以測量頻率、周期、時(shí)間間隔、頻率比、累加計(jì)數(shù)、 計(jì)時(shí)等；配上相應(yīng)的插件，還可以測量相位、電壓等。一般我們把凡具有測頻和測周兩種以上功能的計(jì)數(shù)器都?xì)w類為通用計(jì)數(shù)器。 [全文]

，開始對接下來的圖像數(shù)據(jù)進(jìn)行解碼，根據(jù)每個(gè)8位數(shù)據(jù)自身帶的信息，判斷該數(shù)據(jù)為Y，Cr還是Cb，從而得到Y(jié)，Cr，Cb各分量的值。解碼流程如圖4所示。

圖4 解碼流程

　　4 幀存儲控制器與LCD／VGA顯示控制器的設(shè)計(jì)

　　4.1 數(shù)據(jù)格式的轉(zhuǎn)換

　　根據(jù)前面第2節(jié)的介紹，從ITU656解碼模塊出來的數(shù)據(jù)為8位4：2：2的YUV空間圖像數(shù)據(jù)，而LCD／VGA顯示器只能接收RGB數(shù)據(jù)。因?yàn)閅-CrCb4：2：2格式不能直接轉(zhuǎn)換為RGB，所以需要先轉(zhuǎn)換為YCrCb4：4：4格式。

　　我們知道解碼芯片得到的視頻數(shù)據(jù)是順序?yàn)镃b，Y，Cr，Y，Cb，Y，Cr，……的序列，存儲的時(shí)候?qū)⒁粋€(gè)Y與一個(gè)C（Cb或Cr）結(jié)合起來組成一個(gè)16位的數(shù)據(jù)。而當(dāng)數(shù)據(jù)被讀出來時(shí)就要將這些視頻數(shù)據(jù)轉(zhuǎn)換為每個(gè)像素占24位（Y、Cb、Cr各占8位）的4：4：4的數(shù)據(jù)流。4：2：2到4：4：4的轉(zhuǎn)換采用最簡單的插值算法，在采樣的時(shí)候，每隔一個(gè)像素才采一次色度值（Cb和Cr）。在轉(zhuǎn)化時(shí)，直接將前一個(gè)有色度信息的像素點(diǎn)的Cr以及Cb的值直接賦給后一個(gè)像素的Cr和Cb，這樣就能得到4：4：4的像素?cái)?shù)據(jù)，每個(gè)像素占用24位位寬。

　　4.2 幀存儲控制器

　　作為系統(tǒng)的重要組成部分，幀存儲控制器主要用來進(jìn)行有效數(shù)據(jù)的緩存。視頻數(shù)據(jù)在FPGA1的控制下乒乓寫入兩片SRAM。乒乓技術(shù)應(yīng)用的關(guān)鍵在于乒乓切換信號frame的產(chǎn)生，本系統(tǒng)中根據(jù)視頻解碼芯片的奇偶場信號RTS0來產(chǎn)生幀切換frame信號，也就是一個(gè)RTS0周期切換一次。一個(gè)RTS0周期由一個(gè)奇場和一個(gè)偶場組成，是一副完整的畫面。當(dāng)frame為1是，F(xiàn)PGA通過計(jì)數(shù)器的計(jì)數(shù)截取最終顯示所需要的有效的像素點(diǎn)信息按照SRAM的控制時(shí)序?qū)懭隨RAM1，同樣當(dāng)frame為0時(shí)，將對應(yīng)的像素信息寫入SRAM2，如圖5所示。

圖5 乒乓存儲示意圖

　　系統(tǒng)加電的同時(shí)，4片視頻解碼芯片同時(shí)工作，為了保證數(shù)據(jù)采集的準(zhǔn)確性和顯示的同步性，系統(tǒng)內(nèi)生成一個(gè)八倍于像素時(shí)鐘的寫時(shí)鐘信號write_clk，這樣，在一個(gè)像素時(shí)鐘周期，寫時(shí)鐘信號已經(jīng)過了八個(gè)周期，而每兩個(gè)周期分別完成一路圖像數(shù)據(jù)的寫過程。

　　由于SRAM是一維存儲空間，一個(gè)地址對應(yīng)一個(gè)數(shù)據(jù)。所以在寫入數(shù)據(jù)時(shí)將SRAM的地址空間劃分為4段，每一段用來存儲一路圖像數(shù)據(jù)。

　　用程序?qū)崿F(xiàn)比較簡單，設(shè)置一個(gè)地址寄存器sram_addr_reg，將它賦給SRAM的地址控制信號sram_addr。然后在對每一路圖像寫入時(shí)，將對應(yīng)的SRAM的起始地址加上一個(gè)固定的基數(shù)。如：

　　這樣就保證了SRAM中對應(yīng)地址的數(shù)據(jù)和屏幕上顯示位置的一一對應(yīng)關(guān)系，在讀程序中，只需要按照順序讀SRAM即可，如圖6所示。

圖6 SRAM地址驗(yàn)證

　　4.3 LCD／VGA顯示控制器

　　本模塊主要是用FPGA來產(chǎn)生LCD／VGA顯示時(shí)所需要的時(shí)鐘信號CLK（像素時(shí)鐘信號）、VSYNC（幀同步信號）、HSYNC（行同步信號）和使能信號（VDEN），并在相應(yīng)控制時(shí)序的作用下，依次將顯示緩存即SRAM中的數(shù)據(jù)依次讀出，輸出到LCD上的過程。

　　LCD顯示所需的主要時(shí)序信號的關(guān)系如圖7所示。

圖7 LCD時(shí)序信號圖

　　在系統(tǒng)中，LCD屏幕分辨率為640x480，像素時(shí)鐘CLK為25MHz，由于FPGA的主時(shí)鐘輸入選用了20 MHz的有源時(shí)鐘，那么就要求利用Cyclone芯片的內(nèi)部邏輯資源來實(shí)現(xiàn)時(shí)鐘倍頻，以產(chǎn)生所需要的CLK（25 MHz）、用Verilog語言編寫參數(shù)化的時(shí)序生成模塊，產(chǎn)生HSYNC（32 kHz）及VHY-NC（60 Hz）時(shí)鐘信號，如圖8所示。

圖8 時(shí)序驗(yàn)證

　　VGA顯示原理與LCD相似，除了在硬件上正確連接ADV7125芯片電路外根據(jù)需要的分辨率來生成相應(yīng)時(shí)鐘信號即可。

　　5 圖像抖動(dòng)的分析與解決

　　在系統(tǒng)完成后軟硬件聯(lián)調(diào)時(shí)，出現(xiàn)畫面抖動(dòng)現(xiàn)象，其中以RTSO為基準(zhǔn)而產(chǎn)生乒乓切換的那一路圖像穩(wěn)定，其他三路都出現(xiàn)不同程度的抖動(dòng)現(xiàn)象。對此我們做了深入的分析和實(shí)驗(yàn)，分析整個(gè)系統(tǒng)的結(jié)構(gòu)可知，系統(tǒng)在多個(gè)時(shí)鐘控制下共同工作，也就是所說的典型的異步系統(tǒng)。我們知道，數(shù)據(jù)在異步系統(tǒng)傳輸時(shí)對時(shí)鐘要求非常嚴(yán)格，稍微的一點(diǎn)時(shí)鐘偏差都會帶來對有效像素截取的偏差，最終影響圖像的顯示質(zhì)量。

　　解決的辦法有兩個(gè)，一是加入緩沖機(jī)制，利用FIFO對數(shù)據(jù)存儲的特性來實(shí)現(xiàn)數(shù)據(jù)在異步時(shí)鐘之間的無縫傳輸；二是同步時(shí)鐘，利用狀態(tài)機(jī)等方法使得異步系統(tǒng)的時(shí)鐘能夠盡可能同步。采用第二種方法對系統(tǒng)進(jìn)行改進(jìn)，首先系統(tǒng)中所有的分頻、倍頻盡量使用Quartus 6.0自帶的PLL
PLL

　　pll是鎖相環(huán)（Phase-Locked Loop）的英文簡稱，用來使外部的輸入信號與內(nèi)部的振蕩信號同步。pll是用于振蕩器中的反饋控制電路。 [全文]

產(chǎn)生，并且使用專用時(shí)鐘引腳進(jìn)行時(shí)鐘輸出；其次把寫時(shí)鐘write_clk降為54M，也就是每隔一個(gè)像素采集一次。最終，四路圖像都能穩(wěn)定顯示。

　　6 結(jié)束語

　　本文實(shí)現(xiàn)了一種結(jié)合Altera公司生產(chǎn)的CycloneII系列FPGA與視頻解碼芯片ADV7181B的嵌入式圖像采集系統(tǒng)。系統(tǒng)具有低功耗、低成本、高可靠和靈活性好等特點(diǎn)?；贔PGA的多路圖像采集系統(tǒng)采用兩片F(xiàn)PGA作為主控芯片，完成四路視頻畫面的同時(shí)顯示和切換，實(shí)現(xiàn)兩個(gè)FPGA的級聯(lián)配置，采用Verilog語言編寫的控制邏輯解決了畫面抖動(dòng)問題。系統(tǒng)軟件集成度高，硬件結(jié)構(gòu)清晰簡單，即可滿足一般監(jiān)控場合對多處位置進(jìn)行實(shí)時(shí)監(jiān)控的需求，又能為功能更復(fù)雜的圖像處理、壓縮、傳輸系統(tǒng)提供前端圖像數(shù)據(jù)采集。