視頻中目標(biāo)檢測(cè)與跟蹤算法綜述
掃描二維碼
隨時(shí)隨地手機(jī)看文章
引 言
在視頻中人或運(yùn)動(dòng)物體行為理解的整個(gè)流程中,運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤非常關(guān)鍵。通常一個(gè)視頻監(jiān)控系統(tǒng)大體可分解為四個(gè)不同的功能單元,即目標(biāo)檢測(cè),搜索系統(tǒng)感興趣的目標(biāo)區(qū)域 ;目標(biāo)跟蹤,捕獲感興趣區(qū)域的運(yùn)動(dòng)軌跡 ;目標(biāo)分類(lèi), 將被跟蹤目標(biāo)分為人,汽車(chē)或其他移動(dòng)物體 ;目標(biāo)行為識(shí)別, 對(duì)跟蹤目標(biāo)進(jìn)行行為識(shí)別。目標(biāo)檢測(cè)作為視頻監(jiān)控的前提, 屬于低層次的視覺(jué)問(wèn)題,目前己有多種較為成熟的算法。而目標(biāo)跟蹤作為視頻監(jiān)控最基本的功能屬于中等層次的視覺(jué)問(wèn)題, 是當(dāng)前制約視頻監(jiān)控系統(tǒng)性能的主要瓶頸之一。
1 主流的目標(biāo)檢測(cè)方法介紹
1.1 背景分割法
背景分割法適用于運(yùn)動(dòng)場(chǎng)景固定且比較簡(jiǎn)單的場(chǎng)合,通過(guò)建立背景模型,用圖像序列的特征參數(shù)與背景模型比較, 分割出背景和前景,從而得到運(yùn)動(dòng)對(duì)象。背景差分圖像的主要原理是通過(guò)現(xiàn)有圖像對(duì)比已知背景圖像,且背景圖像中不含任何感興趣的對(duì)象,是背景模型 [1]。該對(duì)比過(guò)程被稱(chēng)為前景檢測(cè)。該過(guò)程將觀測(cè)圖像分為兩個(gè)互補(bǔ)的像素集合,可覆蓋全部圖像,包括感興趣的運(yùn)動(dòng)對(duì)象及前景與前景的補(bǔ)集,即背景。
背景減除法最大的缺陷是,沒(méi)有成熟和高性能的規(guī)則來(lái)定義前景區(qū)域和對(duì)象,因此其使用范圍受限。有許多背景減除算法是針對(duì)特定需求提出來(lái)的,因此對(duì)模型和分割策略也提出了特殊要求。如文獻(xiàn) [2],它必須適用于平緩或快速的光照變化,場(chǎng)景運(yùn)動(dòng)變化,復(fù)雜的背景或背景變化。由于部分場(chǎng)合要求由硬件承擔(dān)背景減除功能,因此算法負(fù)載成為最基本的要求。對(duì)于戶外視頻監(jiān)控系統(tǒng)而言,算法對(duì)噪聲的魯棒性以及算法對(duì)光照變化的適應(yīng)能力是最基本的要求。
1.2 相鄰幀間差分法
該方法選擇相鄰的兩幀進(jìn)行比對(duì),選擇參數(shù)可以是直方圖,也可以是亮度或其他圖像的特征參數(shù),兩個(gè)相鄰的圖像幀 進(jìn)行減法運(yùn)算,結(jié)果的矩陣值與預(yù)設(shè)的閾值進(jìn)行比較,通過(guò) 差的絕對(duì)值與閾值大小來(lái)判斷是否有運(yùn)動(dòng)。在這個(gè)原理的框 架下有更多的改進(jìn)算法被提出,比如基于亮度假設(shè)檢驗(yàn)和高 階統(tǒng)計(jì)量的相鄰幀差法等 [3]。
幀間差分法的優(yōu)點(diǎn)在于可以很好地適用于存在多個(gè)運(yùn)動(dòng) 物體,或者當(dāng)攝像機(jī)移動(dòng)的情況。但是該方法對(duì)噪音干擾的 魯棒性較差。
1.3 光流法
光流法(Optical Flow or Optic Flow)通過(guò)檢測(cè)圖像像素 點(diǎn)的強(qiáng)度隨時(shí)間的變化情況來(lái)推斷物體的移動(dòng)速度及方向。 對(duì)于每個(gè)像素點(diǎn),每一個(gè)時(shí)刻均有一個(gè)二維或多維的向量集 合,如(x,y,t),表示指定坐標(biāo)在 t 點(diǎn)的瞬時(shí)速度。設(shè) I(x,y, t)為 t 時(shí)刻(x,y)點(diǎn)的強(qiáng)度,在很短的時(shí)間Δt 內(nèi),x,y 分別 增加Δx,Δy,則光流變化的情況如公式(1)所示:
1.4 統(tǒng)計(jì)法
統(tǒng)計(jì)法通過(guò)建立統(tǒng)計(jì)模型來(lái)區(qū)分前景和后景。在魏波 [4] 的文章中,場(chǎng)景的統(tǒng)計(jì),前景和后景的分布情況統(tǒng)計(jì)被作為基 礎(chǔ),建立了間斷點(diǎn)的分布模型,此模型被用來(lái)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo) 的檢測(cè)。王長(zhǎng)安,朱善安 [5] 在其論文中提出了改進(jìn)的 GVF- Snake 模型與統(tǒng)計(jì)模型融合的算法思想,實(shí)驗(yàn)表明,融合后的 方法結(jié)合了 GVF-Snake 與統(tǒng)計(jì)模型的各自優(yōu)點(diǎn),對(duì)靜態(tài)背景 的目標(biāo)檢測(cè)有很好的效果。各種文獻(xiàn)資料都表明,統(tǒng)計(jì)法適 合在復(fù)雜場(chǎng)景中檢測(cè)運(yùn)動(dòng)對(duì)象,且算法的時(shí)間復(fù)雜度低,易 于硬件實(shí)現(xiàn),但由于檢測(cè)效果受先驗(yàn)知識(shí)的影響,統(tǒng)計(jì)法的 準(zhǔn)確度并不高。
1.5 小波法
數(shù)學(xué)界有一種公認(rèn)的提法,即小波分析是近代數(shù)學(xué)的一項(xiàng)重要成就,它已經(jīng)發(fā)展成為一個(gè)新的數(shù)學(xué)分支,是多學(xué)科結(jié)合的產(chǎn)物,包括泛函數(shù)值計(jì)算、Fourier變換等,是一種多尺度,多分辨的分析技術(shù),在信息融合、語(yǔ)音處理、信號(hào)處理、大氣模型、地震預(yù)測(cè)等諸多領(lǐng)域都有著廣泛的使用價(jià)值,在目標(biāo)檢測(cè)方面亦有廣闊的應(yīng)用。在李紅艷[6] 的文獻(xiàn)中, Haar 小波變換的低Signal-to-Noise微小目標(biāo)檢測(cè)方法被提出, 仿真實(shí)驗(yàn)結(jié)果表明,李紅艷提出的方法可以有效提高目標(biāo)的Signal-to-Noise。小波分析的優(yōu)勢(shì)在于檢測(cè)復(fù)雜場(chǎng)景下的微弱目標(biāo),但大規(guī)模成熟應(yīng)用的情況還比較少。
2 主流的目標(biāo)檢測(cè)方法性能比較
幾種典型目標(biāo)檢測(cè)方法的性能比較情況見(jiàn)表 1 所列 [7-10]。
3 主流的目標(biāo)跟蹤方法介紹
目標(biāo)跟蹤是機(jī)器視覺(jué)的關(guān)鍵功能步驟,在機(jī)器視覺(jué)的所有應(yīng)用領(lǐng)域,如視頻監(jiān)控,視頻壓縮,人機(jī)交互,醫(yī)學(xué)圖像處理等領(lǐng)域都是極具挑戰(zhàn)性的課題。目標(biāo)跟蹤除要在圖像序列中檢測(cè)出目標(biāo)外,還需要獲取目標(biāo)的位置、速度、運(yùn)動(dòng)軌跡、加速度等運(yùn)動(dòng)參數(shù),從而為下一步運(yùn)動(dòng)目標(biāo)的行為識(shí)別與理解提供技術(shù)參數(shù)。經(jīng)過(guò)多年的發(fā)展,出現(xiàn)了許多目標(biāo)跟蹤的方法,這些方法都各自有其優(yōu)缺點(diǎn)。
3.1 基于特征匹配的跟蹤方法
運(yùn)動(dòng)目標(biāo)總會(huì)有一些區(qū)別于其他事物的屬性,如幾何形狀, 外形輪廓,子空間特征等屬性,這些屬性具有可靠性,獨(dú)立性, 稀疏性和可區(qū)分性等特點(diǎn),可被用作目標(biāo)跟蹤的依據(jù)。特征點(diǎn)提取是該算法的關(guān)鍵,目前常用的特征點(diǎn)提取算法有SIFT算法,Kanade Lucas Tomasi(KLT)算法,Harris 算法及 SURF 算法等。
3.2 基于貝葉斯的跟蹤方法
在文獻(xiàn) [11] 中,二階 AR 模型被用來(lái)跟蹤目標(biāo)運(yùn)動(dòng),一 階 AR 模型被用來(lái)跟蹤目標(biāo)尺度變化,理論推導(dǎo)和仿真實(shí)驗(yàn)顯 示,一階、二階融合的方法取得了較好的跟蹤效果。在貝葉 斯跟蹤方法中,Kalman 濾波(KF)是最早被成熟應(yīng)用的方法, KF 具有準(zhǔn)確預(yù)測(cè)平穩(wěn)運(yùn)動(dòng)目標(biāo)下一個(gè)時(shí)間點(diǎn)位置的特性,因 此在彈道目標(biāo)跟蹤中有成熟的產(chǎn)品應(yīng)用。但 KF 的缺陷是只能 處理線性高斯模型,雖然 KF 有各種改進(jìn)模型,但都不能處理 非高斯非線性模型。
3.3 基于動(dòng)態(tài)輪廓的跟蹤方法
動(dòng)態(tài)輪廓跟蹤方法的主要原理是先勾勒出運(yùn)動(dòng)目標(biāo)的輪 廓,由后續(xù)幀不斷更新輪廓進(jìn)而達(dá)到跟蹤的目的。文獻(xiàn) [12] 中, 視頻圖像中的汽車(chē)跟蹤就采用了動(dòng)態(tài)輪廓跟蹤方法。該方法 其實(shí)是基于區(qū)域方法的一個(gè)變形,它比區(qū)域跟蹤更具體,更 高效,但對(duì)動(dòng)態(tài)輪廓跟蹤方法初始值比較敏感,需要進(jìn)行人 機(jī)交互,很難實(shí)現(xiàn)自動(dòng)跟蹤。
3.4 基于模型的跟蹤方法
模型跟蹤法的核心是建立的已知跟蹤目標(biāo)的精細(xì)三維模 型與待檢測(cè)圖像之間的匹配操作。其缺點(diǎn)是對(duì)模型過(guò)分依賴, 計(jì)算復(fù)雜,不利于實(shí)時(shí)處理。但基于模型的跟蹤方法便于實(shí) 現(xiàn)自動(dòng)跟蹤,因此國(guó)內(nèi)外學(xué)者對(duì) 3D 模型的跟蹤方法和基于 深度估計(jì)的跟蹤方法做了大量研究工作。VIEWS 系統(tǒng)是英國(guó) Reading 大學(xué)開(kāi)發(fā)研制的一種基于 3D 模型的道路車(chē)輛識(shí)別與 跟蹤系統(tǒng)——VIE 系統(tǒng) [13],基于 VIEWS 的研究經(jīng)驗(yàn),中科 院自動(dòng)化所模式識(shí)別實(shí)驗(yàn)室自行設(shè)計(jì)了擁有自主版權(quán)的交通監(jiān) 控原型 VStar,該系統(tǒng)在 PC 環(huán)境下運(yùn)行,用以對(duì)車(chē)輛進(jìn)行實(shí) 時(shí)跟蹤,并對(duì)各種干擾因素如光線變化,斑馬線干擾,邊界遮 擋等都顯示了較強(qiáng)的魯棒性。
4 主流的目標(biāo)跟蹤方法性能比較
幾種常見(jiàn)的目標(biāo)跟蹤方法的性能比較見(jiàn)表 2 所列 [14-16]。
5 結(jié) 語(yǔ)
就目標(biāo)檢測(cè)而言,其發(fā)展趨勢(shì)是尋找算法時(shí)間復(fù)雜度低、 算法魯棒性強(qiáng)、算法成熟度高和受先驗(yàn)知識(shí)影響小的算法。 就目標(biāo)跟蹤算法而言,尋找自動(dòng)化程度高、先驗(yàn)知識(shí)依賴程度 低、計(jì)算復(fù)雜度低和應(yīng)用成熟度高的算法是今后的發(fā)展趨勢(shì)。