基于多DSP和FPGA的實時雙模視頻跟蹤裝置設(shè)計

 1、引言

隨著現(xiàn)代高速DSPan" style="margin: 0px; padding: 0px; ">處理器的迅猛發(fā)展，圖像處理技術(shù)也日益成熟。其中，移動目標的視頻檢測與跟蹤是圖像處理、分析應用的一個重要領(lǐng)域，是當前相關(guān)領(lǐng)域的研究前沿。移動目標視頻檢測與跟蹤技術(shù)，在機器人視覺、交通監(jiān)測、可視預警、機器導航等民用領(lǐng)域有著廣泛的應用，同時在火力攔截、導彈電視和紅外視頻制導等軍用方面也發(fā)揮著重要作用?；诙S轉(zhuǎn)臺以DSP和FPGA為核心器件構(gòu)成的視頻識別和跟蹤裝置，可工作于電視圖像或紅外兩個波段，實現(xiàn)圖像跟蹤各項功能。本文提出的跟蹤算法與設(shè)計的跟蹤裝置可在一定程度上解決視頻跟蹤精度低、處理速度慢的問題，同時本視頻跟蹤裝置也可作為進一步研究圖像處理與跟蹤控制的平臺。

2、視頻跟蹤裝置的硬件設(shè)計

圖像處理最主要的是實時性、可靠性和精確度。針對圖像處理速度慢的問題，考慮從硬件和和軟件兩方面解決：一是選擇高速的DSP和FPGA為核心器件;二是從平衡圖像處理的實時性和效果中選擇最優(yōu)的圖像處理算法。針對圖像跟蹤可靠性問題，采用雙模式復合制導，由處理器根據(jù)信號的置信度來選擇跟蹤模式。針對圖像形心跟蹤算法的精度問題，采取基于去圖像陰影的圖像跟蹤算法。

2.1 視頻跟蹤裝置的圖像信號處理模塊硬件組成

為達到實時處理圖像信號信息，我們選擇3片高速DSP作為核心處理器。其中用作信息融合的是TMS320C6416，在跟蹤模塊中，使用了兩片相對價格低廉一些的TMS320C6201實現(xiàn)并行圖像跟蹤算法。配合DSP工作的外圍邏輯電路，我們采用xlinix公司的XCV400E型FPGA，同時實現(xiàn)部分的圖像預處理功能。

本視頻跟蹤裝置的圖像信號處理模塊主要硬件構(gòu)成如圖1所示：以電視圖像波段為例，圖像采集模塊的傳感器是面陣CCD攝像機，用來采集視頻圖像信息。A/D轉(zhuǎn)換將拍攝到的模擬圖像信號轉(zhuǎn)為8位數(shù)字信號送FPGA處理，同步信號接受攝像機的行同步和場同步信號也送入FPGA。一部分處理的結(jié)果直接經(jīng)D/A轉(zhuǎn)換器送監(jiān)視器顯示。SDRAM數(shù)據(jù)存儲區(qū)存儲背景圖像數(shù)據(jù)。一路在FPGA進行背景差分、4×4滑動平均、去陰影后形成的移動目標信號濾波后送到其中一塊TMS320C6201執(zhí)行基于分割的改進型形心跟蹤算法，另一路則經(jīng)過濾波后送入另一片TMS320C6201執(zhí)行相關(guān)跟蹤算法，然后由決策融合模塊的TMS320C6416根據(jù)兩路信號的置信度來選擇跟蹤模式，達到并行雙模式圖像復合跟蹤。最后將目標位置信號進行轉(zhuǎn)化后輸送到運動控制器控制二維轉(zhuǎn)臺對移動目標進行實時跟蹤。

2.2視頻跟蹤裝置運動控制模塊的硬件組成

運動控制模塊硬件由GPT轉(zhuǎn)臺構(gòu)成。GPT系列轉(zhuǎn)臺為模擬火炮或雷達跟蹤系統(tǒng)的旋轉(zhuǎn)運動系統(tǒng)，它包含電控箱、兩維數(shù)控轉(zhuǎn)臺本體及運動控制器三大部分。轉(zhuǎn)臺本體主要由機械結(jié)構(gòu)件(含PAN和TILT)、驅(qū)動用交流伺服電機(兩套)、諧波減速器、斜齒輪、限位開關(guān)等部分組成。電控箱內(nèi)安裝有交流伺服驅(qū)動器、I/O接口板、開關(guān)電源、開關(guān)、指示燈和電氣元件等主要部件。運動控制器主要由GT-400-SV運動控制卡、GM-400-SV運動控制卡用戶接口軟件等部分組成。作為機電控制系統(tǒng)的核心組成部分，GPT轉(zhuǎn)臺可用作監(jiān)控設(shè)備的基礎(chǔ)運動平臺，又可作為研制火箭、導彈、魚雷和衛(wèi)星等高科技尖端武器的仿真和試驗平臺。該系統(tǒng)可實現(xiàn)：定位精度：±0.0069°;重復精度：±0.00056°;速度：0.01～90°/sec;加速度：90°/sec2;行程：Pan方向為±176°;Tilt方向為-15°～+50°;負載：30kg。

3、視頻跟蹤裝置算法的分析

按照處理順序，我們將整個過程分解為圖2所示。圖像采集模塊：對視頻圖像進行A/D轉(zhuǎn)換，形成原始的256級灰度圖像，作為待處理的圖像信息。背景差分模塊：重建背景，并完成與當前幀的差分。在背景重建時采用基于最小二乘法的時域遞推公式來完成，這個方法只需要一幀圖像的存儲，而且可以用遞推實現(xiàn)。去噪聲模塊:做應用鄰域平均法實現(xiàn)圖像平滑濾波，以及采用顏色濾波法去除陰影等工作。以上算法都是針對FPGA的特點提出的，將FPGA設(shè)計成專用運算器并實現(xiàn)算法。

形心跟蹤模塊和相關(guān)跟蹤模塊分別使用的形心投影方法和二維最小絕對差累加和算法計算目標的位置，融合決策模塊實現(xiàn)置信度選擇，同時對目標信號進行擬合和軌跡外推，實現(xiàn)目標在偶然丟失下的預測跟蹤，以及深度丟失下的跟蹤狀態(tài)轉(zhuǎn)換和搜索狀態(tài)下控制二維轉(zhuǎn)臺對視場的慢速掃搜。這部分針對DSP的特點，采用C語言編程實現(xiàn)。

3.1主要算法特點分析

(1)背景差分法算法

背景差分是利用當前圖像與背景圖像差分來檢測出運動區(qū)域的一種技術(shù)，一般能提供最完全的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如光照等事件的干擾特別敏感?？紤]到攝像機移動緩慢，背景圖像變化比較遲緩，而運動對象相對于背景變化較快，這樣相對于變化較慢的背景圖像來說，可把運動對象看作是一個對背景圖像的隨機擾動。針對本裝置的設(shè)計要求，我們應用Kalman濾波器在零均值白噪聲的退化公式即漸消記憶遞歸最小二乘法，來更新和重建背景圖像，得到時域漸消遞歸最小二乘法的遞歸式：

　　(2)顏色濾波去陰影算法

如果圖像中具有運動陰影和分割碎塊，分割所得的圖像往往與實際目標不符，產(chǎn)生欠分割或過分割的現(xiàn)象。由于陰影象素的灰度值在一個局部領(lǐng)域中變化不是很大，所以顏色濾波主要是構(gòu)造一個包含陰影的模板，再用這個模板與差分結(jié)果做邏輯與的操作，從而檢出陰影。本算法比較簡單，執(zhí)行速度快，處理中不需要區(qū)分陰影和半陰影，而且可以將移動陰影和背景中的陰影都檢出來，只是模板中的參數(shù)要根據(jù)現(xiàn)實情況和經(jīng)驗來定。由于靜止物體的陰影也是不動的，所以靜止目標可以歸入背景中。由公式(2)可檢測出動目標。

(3)形心跟蹤算法

形心跟蹤是將整個跟蹤波門內(nèi)的圖像二值化，用求目標形心的辦法獲得目標位置參量。由于形心值是相對于目標面積歸一化的值，因此形心值不受目標面積、形狀以及灰度分布細節(jié)的限制。同時，形心跟蹤的計算頗為簡便。但是，形心跟蹤器受目標的劇烈運動或目標被遮擋的影響較為嚴重，瞄準點漂移是遠距離跟蹤系統(tǒng)的主要誤差之一。這也是我們采用目標軌跡擬合算法來外推運動目標位置，并與相關(guān)跟蹤法并行工作的原因。由于形心算法比較普及，本跟蹤裝置直接采用了改進的形心跟蹤算法，用目標峰值自適應檢測算法使系統(tǒng)的計算可靠性和實時性達到最佳結(jié)合值。

(4)相關(guān)跟蹤算法

相關(guān)跟蹤是對目標圖像和輸入圖像進行相關(guān)運算，通過對搜索區(qū)域每次運算結(jié)果進行處理獲取相關(guān)峰值?

從而確定目標在輸入圖像的位置。在圖像目標背景比較復雜以及背景與目標無明顯灰度差的場合，相關(guān)跟蹤具有較好的抗干擾能力，可以應付一定的形變和灰度畸變，能對復雜場景中的指定目標進行穩(wěn)定跟蹤，并對目標交叉遮擋有較好的記憶效果，因此我們采用基于二維最小絕對差累加和算法的相關(guān)匹配算法進行圖像特征識別，相似性度量為：

(5)雙模式組合算法[6]

如表1所示，由于形心跟蹤和相關(guān)跟蹤各有優(yōu)缺點，具有較大的互補性[7] 。采用形心跟蹤算法的DSPan" style="margin: 0px; padding: 0px; ">DSP和相關(guān)匹配跟蹤算法的DSP同時工作，按照各自的圖像分割方法分割出目標和背景，抽取目標的特征，輸出目標的跟蹤信息。最后在主控的TMS320c6416進行檢查，把相關(guān)匹配跟蹤模式中采用相關(guān)峰值的相關(guān)度函數(shù)構(gòu)造的目標位置置信度和形心跟蹤模式的置信度進行置信度判決，從而決定選擇跟蹤控制信號，同時對不適當?shù)母櫮K進行重新裝定。

表1 兩種模式優(yōu)缺點比較

(6)目標暫時丟失下目標軌跡外推算法

在跟蹤目標的過程中，目標在視場中可能會被短時遮擋而丟失;另外當目標在視場中停留，則目標可能融入背景，也會出現(xiàn)目標丟失的現(xiàn)象。針對這兩種情況，當目標短時遮擋，根據(jù)存儲記憶以前各幀和本幀的目標信息，采用微分線性擬合外推方法預測下一時刻目標的位置。而當目標在視場停留時，首先按目標被遮擋處理，當外推有限步，或是外推到接近邊界時目標仍未出現(xiàn)時，則確定該目標在視場停留，標記停留位置，當目標再次出現(xiàn)時繼續(xù)完成跟蹤。

4、系統(tǒng)工作狀態(tài)分析

為實現(xiàn)使自動有序的跟蹤，我們確定系統(tǒng)各個跟蹤狀態(tài)和各狀態(tài)之間的轉(zhuǎn)換條件。

本系統(tǒng)跟蹤狀態(tài)有四種：

S0 搜索狀態(tài) 發(fā)生在系統(tǒng)初始工作或目標完全丟失階段。

S1 捕獲狀態(tài) 系統(tǒng)處于發(fā)現(xiàn)目標狀態(tài)。

S2 正常跟蹤狀態(tài) 系統(tǒng)處于對目標的正常跟蹤中。

S3 預測跟蹤 目標偶爾丟失時，系統(tǒng)通過自學習對當前目標進行預測跟蹤，并試圖再捕獲目標。

本系統(tǒng)轉(zhuǎn)換條件有三種：

C1目標截獲。

C2目標偶然丟失，指目標瞬間丟失?

其運動仍具有可預測性。

C3目標深度丟失，指目標丟失一段時間，其運動不可預測。

系統(tǒng)狀態(tài)轉(zhuǎn)換情況如圖3所示。在視頻跟蹤裝置啟動并初始化后，進入搜索狀態(tài)S0，系統(tǒng)按照一定的掃搜規(guī)律進行搜索;當形心跟蹤模塊發(fā)現(xiàn)移動目標，則進入捕獲狀態(tài)S1;由相關(guān)跟蹤模塊對目標進行識別，確認后進入正常跟蹤狀態(tài)S2;當目標偶爾丟失時，系統(tǒng)通過自學習對當前目標進行預測跟蹤，并試圖再捕獲目標，進入預測跟蹤狀態(tài)S3;如果目標完全丟失，則改變搜索策略，重新再搜索，以便有可能再次捕獲目標。

5、結(jié)論

本視頻跟蹤裝置在設(shè)計上能完成對移動目標的檢測和跟蹤，初步實驗結(jié)果表明采用基于DSP和FPGA的硬件實現(xiàn)算法使系統(tǒng)的實時性能得到很大提高。雙模式的圖像跟蹤算法使系統(tǒng)適合多種背景下的移動目標跟蹤，自適應能力強，抗干擾性能好，具有鎖定目標短暫丟失后的再次捕獲能力，提高了跟蹤的可信度。但本設(shè)計擬在下面兩個方面作進一步的研究。一是考慮本裝置的軍事應用背景，需要目標，尤其是遠方目標有相對較高的速度才能觸發(fā)系統(tǒng)捕獲,因此沒有考慮攝像頭自身跟蹤時的運動補償[8]。否則，必須加入攝像機運動估計和補償;二是對移動目標的識別能力還需加強，在設(shè)定特定跟蹤目標上，尤其是跟蹤到多個移動目標時，不具備區(qū)分的能力，需要改進到能識別設(shè)定中的跟蹤目標并完成對設(shè)定目標的跟蹤。