基于SOPC的視頻運動目標(biāo)檢測跟蹤系統(tǒng)

摘要：文章是以Nios II處理器為中心的視頻運動目標(biāo)檢測跟蹤系統(tǒng)，通過CMOS圖像傳感器采集視頻圖像信息，采用幀間差分法檢測運動目標(biāo)，形心跟蹤算法對目標(biāo)進(jìn)行跟蹤，最后在VGA顯示器上顯示視頻中運動物體。實驗結(jié)果表明，該系統(tǒng)可達(dá)到運動目標(biāo)檢測跟蹤的理想結(jié)果。

0 引言

運動目標(biāo)檢測跟蹤就是將運動的目標(biāo)從視頻圖像序列中檢測出來，對其進(jìn)行跟蹤。在計算機(jī)視覺領(lǐng)域和智能視頻監(jiān)控系統(tǒng)中，目標(biāo)檢測與跟蹤系統(tǒng)是一個最要的研究內(nèi)容，該系統(tǒng)在很多領(lǐng)域中經(jīng)得到廣泛的應(yīng)用，例如在家庭住宅小區(qū)、智能交通、銀行、超市等場所都設(shè)有視頻監(jiān)控系統(tǒng)，起到了不需要人為的作用，就可以對采集來的視頻圖像信號進(jìn)行處理，并對監(jiān)控系統(tǒng)進(jìn)行控制。視頻監(jiān)控與監(jiān)視系統(tǒng)VSAM是由美國國防部研制出來的，其作用是對整個場景進(jìn)行監(jiān)控，該系統(tǒng)可以自動地調(diào)多個圖像傳感器無縫接入，主要應(yīng)用在戰(zhàn)爭、危險場合的監(jiān)控。馬里蘭大學(xué)研制出的W4實時監(jiān)控可以在夜晚或者光線較差的環(huán)境下對出現(xiàn)的人定位和分割，主要應(yīng)用在智能交通、家居服務(wù)等。視頻運動目標(biāo)檢測與跟蹤系統(tǒng)對檢測目標(biāo)的準(zhǔn)確性和實時性要求很高。SOPC是嵌入式微處理器可編程片上系統(tǒng)，可在FPGA芯片上實現(xiàn)。本文采用SOPC(在FPGA嵌入NiosII軟核)作為視頻處理核心器件的方案，與傳統(tǒng)的采用DSP和ARM芯片的方案相比，具有成本更低、設(shè)計更靈活，而且能達(dá)到軟硬件協(xié)同工作、處理速度更快、容易升級。系統(tǒng)采用Altera公司的CycloneII EP2C35F672C6作為核心處理芯片，NIOSII軟核處理器為核心對運動目標(biāo)實時準(zhǔn)確地檢測與跟蹤。

1 系統(tǒng)組成及框圖

本文是基于FPGA的視頻運動目標(biāo)檢測跟蹤系統(tǒng)，主要分為四個模塊：圖像采集模塊、存儲模塊、目標(biāo)檢測跟蹤模塊和VGA顯示模塊。

1.1 圖像采集模塊

圖像采集模塊的作用是接收CMOS圖像傳感器采集到的視頻圖像。本系統(tǒng)采用的是友晶公司提供的TRDB—D5M攝像頭開發(fā)套件，使用的是CMOS圖像傳感器，它是將光學(xué)圖像轉(zhuǎn)化成電子信號的有源像素傳感器，是利用CMOS半導(dǎo)體而制成的。TRDB—D5M作為一款攝像頭套件，有很多攝像方面的優(yōu)勢;高幀率、優(yōu)秀的低亮度性能、微弱的暗電流、全局復(fù)位解除(使所有像素點同時開始曝光)、可編程控制幀率、幀規(guī)模、曝光時間，片上鎖相環(huán)、自動黑面校準(zhǔn)等。

1.2 存儲模塊

本設(shè)計在硬件系統(tǒng)中使用一片SDRAM作為圖片緩存的存儲器，在軟件系統(tǒng)中，備用一片SDRAM存儲幀圖片，使用一片SRAM存儲軟件代碼和軟件處理過程的中間數(shù)據(jù)。

1.3 目標(biāo)檢測跟蹤模塊

系統(tǒng)中大部分模塊是由Verilog HDL設(shè)計的，使用硬件來完成實際的功能，此模塊是在基于NiosII IDE集成開發(fā)工具使用C語言實現(xiàn)的，我們在EP2C35中嵌入NIOS II軟核，控制連接在外部總線上的SDRAM和SRAM。在整個模塊中，F(xiàn)PGA是綜合了NIOS II處理器、SDRAM控制器、SRAM控制器、攝像頭等許多模塊的最主要的部分。

1.4 VGA顯示模塊

VGA輸出接口芯片采用的是美國AD公司的ADV7123，它是一款單芯片包含3路高速、10位輸入的視頻D/A轉(zhuǎn)換器、行場同步信號、行場消隱信號、時鐘信號。ADV7123對RGB視頻數(shù)字信號進(jìn)行D/A變換成VGA需要的RGB模擬信號。最后將運動目標(biāo)檢測跟蹤結(jié)果顯示到PC顯示器上。運動目標(biāo)檢測跟蹤系統(tǒng)的總體框圖如圖1所示。

運動目標(biāo)檢測是目標(biāo)跟蹤的前提，其作用就是當(dāng)視頻圖像序列中有運動目標(biāo)出現(xiàn)，通過檢測算法將目標(biāo)從背景圖像中提取出來。根據(jù)監(jiān)控場景是運動的還是固定的，可以分為背景是固定的運動目標(biāo)檢測和背景是運動的運動目標(biāo)檢測。本系統(tǒng)是對背景運動的運動目標(biāo)檢測，目前，運動目標(biāo)檢測主要有三種方法：背景差分法、光流法和幀間差分法。背景差分法和光流法與幀間差分法相比，具有精度高定位準(zhǔn)的優(yōu)點，但算法的復(fù)雜性較高，難以在硬件平臺上實現(xiàn)實時處理，因此，本系統(tǒng)采用的是幀間差分法。

幀間差分法是對連續(xù)視頻序列圖像中相鄰兩幀作差，從而得到運動目標(biāo)的方法。通常選取相鄰的兩幀或三幀圖像進(jìn)行差分運算，設(shè)t時刻當(dāng)前幀圖像為Fk(x，y)，t-1時刻的前一幀圖像為Fk-1(x，y)，兩幀進(jìn)行相減運算如下：

其中，T為閾值，如果相鄰兩幀差分后的像素灰度值大于T，則二值化圖像Bk(x，y)像素點為1表示運動目標(biāo)區(qū)域，若為0表示背景區(qū)域。幀間差分算法基本流程如圖2所示。

1.5 目標(biāo)跟蹤

目標(biāo)跟蹤有很多算法，本系統(tǒng)選用的是形心跟蹤法。形心就是運動目標(biāo)的中心，對于準(zhǔn)確定位出目標(biāo)具有重要的意義。本文形心的獲取主要是通過幀間差分法檢測到運動目標(biāo)后，對檢測到的所有動態(tài)點橫坐標(biāo)和縱坐標(biāo)進(jìn)行統(tǒng)計，然后算出所有動態(tài)點橫坐標(biāo)和縱坐標(biāo)的中值，這個中值即為運動目標(biāo)的中心。當(dāng)運動目標(biāo)較小時，若采用模板匹配法，由于所取模板與背景類似，目標(biāo)特征不夠明顯，比較容易產(chǎn)生錯誤的匹配，因此，比較適合采用形心跟蹤法進(jìn)行跟蹤和測量。二值化后的圖像，其形心坐標(biāo)計算公式為：

形心跟蹤得到運動目標(biāo)的坐標(biāo)后，統(tǒng)計運動目標(biāo)的像素點，再根據(jù)形心坐標(biāo)將運動目標(biāo)用矩形框跟蹤，進(jìn)而得出運動物體軌跡，NiosII處理器作出相應(yīng)的控制信號，驅(qū)動云臺進(jìn)行跟蹤運動目標(biāo)。

2 實驗結(jié)果

本論文是基于SOPC的視頻運動目標(biāo)檢測跟蹤系統(tǒng)，使用Altera公司DE2多媒體開發(fā)板完成的。

在實驗室環(huán)境下的一段運動目標(biāo)視頻檢測跟蹤，640×480分辨率RGB格式20幀/秒，使用外接矩形框跟蹤物體，外接矩形框底邊中心點能夠在一定程度上反映物體的運動軌跡。圖3為從視頻流中提取出來的幾幀檢測跟蹤圖像效果圖。

3 結(jié)論

本文利用SOPC平臺構(gòu)建的實驗系統(tǒng)，不僅可以在場景較簡單的情況下很好地完成運動目標(biāo)的檢測與跟蹤，并且也驗證了利用SOPC技術(shù)實現(xiàn)目標(biāo)檢測跟蹤的可行性和準(zhǔn)確性，同時也提高了目標(biāo)跟蹤的實時性。通過軟/硬件協(xié)同工作方式，可以挖掘硬件設(shè)計的強大功能，開發(fā)出實時性和實用性更強、功能更強大的運動目標(biāo)檢測跟蹤系統(tǒng)。因此，本文的研究成果對于目標(biāo)檢測跟蹤處理技術(shù)和器件FPGA及SOPC技術(shù)的應(yīng)用推廣具有重要的參考價值。