視頻運(yùn)動(dòng)目標(biāo)跟蹤算法研究綜述
掃描二維碼
隨時(shí)隨地手機(jī)看文章
引 言
視頻運(yùn)動(dòng)目標(biāo)跟蹤作為當(dāng)前計(jì)算機(jī)領(lǐng)域最為熱門(mén)的技術(shù)之一,對(duì)視頻中目標(biāo)行為能夠進(jìn)行準(zhǔn)確地追蹤定位,而且隨著算法的不斷更新,目標(biāo)跟蹤理論也越來(lái)越完善,應(yīng)用的領(lǐng)域涉及智能視頻監(jiān)控、無(wú)人機(jī)偵察、智能駕駛等。簡(jiǎn)單來(lái)說(shuō), 目標(biāo)跟蹤就是在第一幀時(shí)給出目標(biāo)的初始位置,利用跟蹤算法計(jì)算出后續(xù)每幀圖像中目標(biāo)的位置信息。理論上來(lái)說(shuō),目標(biāo)跟蹤能夠進(jìn)行實(shí)時(shí)的跟蹤,但是在實(shí)際應(yīng)用中,由于光照、遮擋、尺度變化等因素,很容易導(dǎo)致目標(biāo)丟失。
通常,從構(gòu)建目標(biāo)模型的角度可將目標(biāo)跟蹤算法分為生成式方法和判別式方法。
生成式方法對(duì)目標(biāo)進(jìn)行特征提取以及模型構(gòu)建,在下一幀中找到與模型相似的區(qū)域即為目標(biāo)的預(yù)測(cè)區(qū)域。
判別式方法將跟蹤問(wèn)題歸結(jié)于二分類(lèi)問(wèn)題,主要研究如何將目標(biāo)和背景區(qū)分出來(lái)。
比較兩種方法,判別式方法更能適應(yīng)背景變化等復(fù)雜問(wèn)題。判別式方法近年來(lái)不斷被改進(jìn),在技術(shù)方面有了極大的突破,研究人員不斷地從特征、尺度等方面改進(jìn)算法,使得目標(biāo)跟蹤更加適應(yīng)復(fù)雜多變的環(huán)境。
本文將從 3 個(gè)方面介紹目標(biāo)跟蹤的發(fā)展歷程,分別為經(jīng)典的目標(biāo)跟蹤算法、基于相關(guān)濾波的跟蹤算法、基于深度學(xué)習(xí)的算法,最后對(duì)跟蹤領(lǐng)域的發(fā)展趨勢(shì)進(jìn)行展望。
1 經(jīng)典的目標(biāo)跟蹤算法
經(jīng)典的目標(biāo)跟蹤算法主要包括均值漂移算法 [1]、卡爾曼濾波算法 [2] 和粒子濾波算法 [3]?;诰灯频母櫵惴ê?jiǎn)單有效,對(duì)旋轉(zhuǎn)等問(wèn)題有較好的魯棒性。均值漂移算法在目標(biāo)被遮擋時(shí),對(duì)中心位置進(jìn)行分塊加權(quán)處理,有效地屏蔽了錯(cuò)誤位置信息對(duì)跟蹤結(jié)果的影響。均值漂移算法引入高斯核函數(shù)讓低維不可分?jǐn)?shù)據(jù)變成高維可分?jǐn)?shù)據(jù),簡(jiǎn)化了計(jì)算,但是針對(duì)尺度變化等問(wèn)題不能得到較好的跟蹤結(jié)果。
在基于概率推導(dǎo)的目標(biāo)跟蹤算法中,粒子濾波和卡爾曼濾波有效地解決了遞歸貝葉斯濾波概率在實(shí)際應(yīng)用中很難獲得最優(yōu)解的問(wèn)題。當(dāng)貝葉斯濾波中存在線性時(shí)變函數(shù),噪聲為高斯形式時(shí),卡爾曼濾波對(duì)數(shù)據(jù)進(jìn)行最優(yōu)化處理,得到目標(biāo)最優(yōu)狀態(tài)估計(jì) ;當(dāng)噪聲不符合高斯分布時(shí),粒子濾波采用序列蒙特卡羅的濾波方法得到目標(biāo)最優(yōu)位置分析。卡爾曼濾波和粒子濾波這兩種經(jīng)典的運(yùn)動(dòng)模型能夠準(zhǔn)確地計(jì)算出視頻中目標(biāo)的預(yù)測(cè)區(qū)域,提高了目標(biāo)跟蹤的準(zhǔn)確率。
2 基于相關(guān)濾波的跟蹤算法
相關(guān)濾波跟蹤算法實(shí)質(zhì)上是根據(jù)第一幀目標(biāo)樣本訓(xùn)練濾波器,利用濾波器搜索目標(biāo)所在的區(qū)域,根據(jù)響應(yīng)值判斷目標(biāo)位置,并且在跟蹤過(guò)程中不斷更新濾波器。相比于傳統(tǒng)的跟蹤算法,基于相關(guān)濾波的跟蹤算法利用快速傅里葉變換將濾波過(guò)程從時(shí)域轉(zhuǎn)到頻域進(jìn)行計(jì)算,極大地提高了跟蹤速度。
首次提出用于跟蹤算法的相關(guān)濾波器是由 Bolme 等提出的最小均方誤差濾波器(Minimum Output Sum of Squared Error,MOSSE)。MOSSE 算法提取灰度特征 [4]時(shí),采用一種自適應(yīng)訓(xùn)練策略,以最大響應(yīng)值作為目標(biāo)中心。后續(xù)的相關(guān)濾波跟蹤算法在 MOSSE 算法的基礎(chǔ)上從特征表達(dá)、尺度自適應(yīng)、解決邊界效應(yīng)問(wèn)題等方面進(jìn)行一系列的改進(jìn)。
2.1 特征改進(jìn)
Henriques等提出核相關(guān)濾波算法(KernelCorrelation Filter,KCF)。KCF將 MOSSE中單通道的灰度特征拓展到了 31維的方向梯度直方圖(HistogramofOrientedGradient, HOG)特征,提高了相關(guān)濾波跟蹤算法的魯棒性 [5]。KCF 算法引入核函數(shù),利用循環(huán)矩陣特有的傅里葉空間對(duì)角化性質(zhì) 來(lái)簡(jiǎn)化計(jì)算,從而提升了算法的執(zhí)行效率。顏色命名(Color Name,CN)算法是由 Danelljan等提出,算法主要特點(diǎn)有 : 將 RGB顏色空間轉(zhuǎn)換成 CN顏色空間,降低光照、遮擋對(duì)顏色失真的影響程度 [6];引入貝葉斯公式,區(qū)分前景與背景, 大大降低了背景的干擾程度。Zhu等提出利用不同顏色的空間梯度來(lái)描述目標(biāo),將 RGB圖像轉(zhuǎn)變?yōu)轭伾臻g,隨后收集各通道的HOG特征,豐富了算法對(duì)目標(biāo)的特征表達(dá)能力[7]。在特征融合方面,Bertinetto等提出在響應(yīng)階段把 HOG特征和簡(jiǎn)單顏色直方圖兩種特征結(jié)合在一起,將濾波響應(yīng)圖和概 率圖以一定的比例結(jié)合在一起,根據(jù)得分圖來(lái)定位目標(biāo),兩 種特征的結(jié)合使得該方法對(duì)光照、形變、運(yùn)動(dòng)模糊都具有很 好的魯棒性 [8]。
2.2 尺度自適應(yīng)算法
為了解決尺度變化問(wèn)題,Danelljan等提出的判斷尺度空間跟蹤器(DiscriminativeScaleSpaceTracker,DSST)在核相關(guān)濾波算法的基礎(chǔ)上引入了尺度估計(jì) [9]。DSST算法除了用于估計(jì)目標(biāo)中心的平移濾波器外,還單獨(dú)訓(xùn)練了一個(gè)一維的尺度濾波器,估計(jì)出目標(biāo)在當(dāng)前幀的位置中心后,在當(dāng)前位置處提取多個(gè)不同大小的圖像塊,并使用尺度濾波器進(jìn)行尺度估計(jì),以最大響應(yīng)對(duì)應(yīng)的尺度作為最優(yōu)尺度。DSST算法不僅對(duì)尺度的處理方式快速有效,而且尺度模塊還可以遷移到任意算法中。
Li等提出一種具有特征集成的尺度自適應(yīng)核相關(guān)濾波跟蹤器 [10],主要的特點(diǎn)有 :將單一的特征擴(kuò)展為多特征,即融合了灰度、CN和 HOG 特征,算法性能有很明顯的提高 ;引入尺度池的方法,在比較階段對(duì)候選區(qū)域的目標(biāo)分別做 7個(gè)尺度的估計(jì),與上一幀進(jìn)行比較,最大響應(yīng)值對(duì)應(yīng)的尺度因子作為當(dāng)前幀目標(biāo)的尺度,實(shí)現(xiàn)尺度自適應(yīng)。Huang等人提出將目標(biāo)檢測(cè)算法和 KCF算法結(jié)合在一起的算法 [11]。KCF 算法負(fù)責(zé)目標(biāo)位置的初步估計(jì),使用邊緣框在目標(biāo)附近搜索, 進(jìn)行搜索后會(huì)產(chǎn)生候選區(qū)域,對(duì)候選區(qū)域進(jìn)行評(píng)估和檢測(cè)選取最終目標(biāo)位置。
Li等提出積分邊界和中心相關(guān)濾波器跟蹤算法(IntegratingBoundaryandCenterCorrelationFilters,IBCCF),該算法采用二維濾波器和一維邊界濾波器相結(jié)合的框架來(lái)解決尺度的問(wèn)題 [12]。主要思路是利用中心和 4 個(gè)邊界的近正交性,將近正交性正則化加入到損失函數(shù)中進(jìn)行求解。在進(jìn)行參數(shù)更新時(shí),先利用奇異值分解得到一個(gè)參數(shù)的近似解,然后更新其他參數(shù),最終獲得解決方案。IBCCF 算法有效地解決了尺度變化問(wèn)題,但是計(jì)算冗余,極大地影響了跟蹤速度。
2.3 處理邊界效應(yīng)問(wèn)題
為了解決邊界效應(yīng)問(wèn)題,較早的解決方法是由 Danelljan 等 提 出 的 空 間 約 束 相 關(guān) 濾 波 器 (Spatially Regularized Correlation Filter,SRDCF)[13] 。 相 比 于 KCF 等 算 法 , SRDCF 算法加大了搜索區(qū)域, 采用空域正則化對(duì)濾波器邊界函數(shù)加大權(quán)重約束,并進(jìn)行迭代優(yōu)化,分類(lèi)器能夠更準(zhǔn)確地進(jìn)行追蹤。Kiani 等提出有限邊界的相關(guān)濾波器算法(Correlation Filters with Limited Boundaries,CFLB), 該算法采用單通道灰度特征,速度較快,但是算法性能并不理想 [14]。在 CFLB 算法中使用了較大的檢測(cè)圖像和作用域較小的濾波器,同時(shí)循環(huán)移位樣本左乘掩模矩陣,掩模矩陣是在原循環(huán)移位樣本大圖像塊中裁剪出小圖像塊,使得總體循環(huán)移位樣本減少,真實(shí)樣本增多。
除此之外,隨著深度學(xué)習(xí)技術(shù)的興起,研究者們開(kāi)始將深度特征與相關(guān)濾波算法進(jìn)行結(jié)合,進(jìn)一步提高了相關(guān)濾波跟蹤算法的跟蹤性能。
3 基于深度學(xué)習(xí)的跟蹤算法
近年來(lái),深度學(xué)習(xí)應(yīng)用在目標(biāo)跟蹤領(lǐng)域取得了極大的成功?;谏疃葘W(xué)習(xí)的跟蹤算法主要分為兩類(lèi) :一類(lèi)是結(jié)合深度特征和相關(guān)濾波設(shè)計(jì)跟蹤算法 ;另一類(lèi)是基于深度網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行端到端的跟蹤。
3.1 深度特征結(jié)合相關(guān)濾波
Ma 等提出的 HCF 算法使用 VGGNet-19 作為特征提取器,對(duì)輸入的圖像提取多層卷積特征分別訓(xùn)練相關(guān)濾波器,在判別階段將經(jīng)過(guò) 3 個(gè)相關(guān)濾波得到的響應(yīng)圖進(jìn)行加權(quán),得到最終的響應(yīng)圖,并通過(guò)最大響應(yīng)定位目標(biāo)中心 [15]。VGGNet-19 不同層次輸出的特征分別具有不同的特點(diǎn)。HCF 針對(duì) VGGNet-19 的各層特征的特點(diǎn),由粗粒度到細(xì)粒度, 最終準(zhǔn)確定位目標(biāo)的中心點(diǎn),以一種簡(jiǎn)潔的方式將卷積特征與相關(guān)濾波有效地結(jié)合了起來(lái)。
Danelljian 等在 SRDCF 的基礎(chǔ)上加入深度特征,雖然提高了算法性能,但由于深度特征的提取速度較慢,導(dǎo)致算法的實(shí)時(shí)性較差 [16]。連續(xù)域卷積相關(guān)濾波跟蹤算法(Continuous Convolution Operators for visual Tracking,C-COT)[17] 在 連續(xù)空間域中學(xué)習(xí)濾波器模型,該算法允許多分辨率特征圖的自然整合,對(duì)子像素能夠進(jìn)行更精確的定位。Danelljan 等對(duì) C-COT 算法進(jìn)行了改進(jìn), 提出高效卷積操作(Efficient Convolution Operators,ECO)提高 C-COT 算法的跟蹤速度 [18]。ECO 算法實(shí)現(xiàn)了傳統(tǒng)的人工特征和卷積特征的融合, 從特征維度、樣本、模板更新等方面去除冗余操作。具體來(lái)說(shuō),ECO 算法采用了間隔多幀進(jìn)行一次更新的策略,進(jìn)一步提高了算法的效率 ;使用主成分分析方法,對(duì)所融合的卷積特征、HOG 特征及 CN 特征進(jìn)行大幅的降維,極大地提高了算法的執(zhí)行效率 ;采用高斯混合模型既可以保持訓(xùn)練集的有效性,又可以防止訓(xùn)練集的不斷擴(kuò)大。
3.2 端到端的深度網(wǎng)絡(luò)跟蹤
不同于深度特征結(jié)合相關(guān)濾波的算法,Nam 等提出一種新思路,訓(xùn)練了一個(gè)多域?qū)W習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)(Multi-Domain Network,MDNet),端到端地解決跟蹤問(wèn)題 [19]。MDNet 算法中使用大量跟蹤視頻對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,以獲得通用的目標(biāo)表示。網(wǎng)絡(luò)由共享層和多分支的特定域?qū)咏M成,其中,域?qū)?yīng)于獨(dú)立的訓(xùn)練等級(jí),并且每個(gè)分支負(fù)責(zé)一個(gè)二分類(lèi)去識(shí)別每個(gè)域中的目標(biāo),算法針對(duì)每個(gè)域迭代的訓(xùn)練網(wǎng)絡(luò)來(lái)獲得共享層中的通用目標(biāo)表示。當(dāng)跟蹤一個(gè)新的視頻序列中的目標(biāo)時(shí),MDNet 算法更新特定域?qū)?,結(jié)合預(yù)訓(xùn)練的共享層組成新的端到端網(wǎng)絡(luò),回歸目標(biāo)框的位置。與現(xiàn)有跟蹤基準(zhǔn)中的最新方法相比,所提出的算法表現(xiàn)出優(yōu)異的性能。
4 結(jié) 語(yǔ)
視頻運(yùn)動(dòng)目標(biāo)跟蹤算法發(fā)展至今,在特征表達(dá)、處理尺度變化、解決遮擋問(wèn)題等方面都取得了長(zhǎng)足的進(jìn)步,顯著提升了算法的跟蹤精度和跟蹤速度。目前,運(yùn)動(dòng)目標(biāo)跟蹤算法在目標(biāo)跟蹤領(lǐng)域存在的主要問(wèn)題 :
(1) 如何提升深度特征結(jié)合相關(guān)濾波算法的跟蹤速度 ;
(2) 如何訓(xùn)練出更適合于目標(biāo)跟蹤問(wèn)題的端到端模型。
可以預(yù)見(jiàn)的是,相關(guān)濾波和深度學(xué)習(xí)的結(jié)合仍會(huì)是領(lǐng)域內(nèi)的研究熱點(diǎn),未來(lái)如何充分發(fā)揮其各自?xún)?yōu)勢(shì),從而進(jìn)一步提高跟蹤性能,值得期待。